Så avbryter du en AI-röstassistent på iPhone, och vad som händer sedan

Sedan version 2.4 lyssnar Orvena medan den pratar. Du kan korta av ett svar, ändra dig halvvägs eller säga "mm" utan att stoppa den, och en liten modell på iPhones Neural Engine avgör vilket av dem du menade. Här är vad den gör i varje fall, de korta svar den ger utan språkmodellen och hur bra det fungerar.

Vad som händer när du pratar medan Orvena talar

Under en röstsession är mikrofonen öppen medan Orvena tänker och talar. iPhones ekoeliminering tar bort Orvenas egen röst från det mikrofonen hör, så att den bara uppfattar dig. Så fort Apples taligenkänning rapporterar ord sänker Orvena rösten till ungefär en tredjedel av volymen, och Cue, dess modell för turtagning, läser det du sa tillsammans med meningen Orvena var mitt i. Det finns tre utfall:

Vid en förfrågan markerar Cue också ordet där förfrågan börjar, så att "okej, fattar, kolla Lissabon nu" når modellen som "kolla Lissabon nu". När den är osäker behåller den hellre ett ord för mycket: ett extra "okej" kostar modellen ingenting, men att tappa "Lissabon" gör det.

Ett tydligt stopp gäller redan medan du fortfarande pratar, så snart Cue är minst 90 % säker. Allt annat väntar på en paus: 0,7 sekunder utan nya ord, eller 0,4 sekunder när taligenkänningen har markerat meningen som färdig. Ett "va?", ett ord till någon annan i rummet eller tv:n i bakgrunden ska räknas som fortsätt, så att svaret inte avbryts varje gång någon säger något.

Samma sak fungerar medan Orvena fortfarande förbereder ett svar. Lägger du till "nej, säg 7:30 i stället" innan den börjar tala slutar den arbeta med den första förfrågan och svarar på den nya.

Svar som hoppar över språkmodellen

En del av det du säger i en röstsession behöver ingen språkmodell alls. När en ny tur börjar kollar Cue först om det är en av nio korta fraser som Orvena kan hantera själv, och i så fall svarar Orvena direkt med en av några få fasta repliker:

Cue läser slutet av det Orvena sa senast, så samma ord kan betyda olika saker. Efter "Ska jag lägga in det i din kalender?" är ett "okej" eller ett "tack" ditt svar på frågan, och det går till modellen. Allt som innehåller en förfrågan går också till modellen: "tack, och lägg till mjölk på inköpslistan" är en förfrågan, inte ett tack. Cue svarar bara själv när den är minst 90 % säker, och 97 % för ett hej då, eftersom det avslutar sessionen.

När en förfrågan går till modellen och ingenting har sagts på 0,8 sekunder säger Orvena något kort som "Okej, jag kollar." Om svaret fortfarande inte är klart efter 10 sekunder säger den "Jag håller fortfarande på." Ingen av dem spelas upp när svaret väl har börjat.

Var beslutet fattas

Cue är Orvenas egen lilla modell med 376 miljoner parametrar, tränad för exakt de här två besluten. Den körs på iPhones Neural Engine, där ett beslut tog ungefär 8 millisekunder med telefonen i vila och ungefär 10 medan GPU:n var upptagen med att generera, uppmätt på en iPhone 17 Pro Max. Det lämnar GPU:n åt språkmodellen som skriver svaren, vilket spelar störst roll när den modellen är Orvenas egen och genererar på samma telefon.

Cue läser bara text: transkriptionen från Apples taligenkänning på enheten och orden Orvena höll på att säga. Ingenting om ett avbrott lämnar telefonen. Den är på 385 MB och hämtas tillsammans med rösterna när du har låst upp röstfunktionen, och den första röstsessionen förbereder den för Neural Engine en gång, bakom samma förloppsindikator som rösterna. Om den inte kunde hämtas, till exempel för att du var offline, startar röstfunktionen ändå och säger till: "Att avbryta är avstängt tills vidare. Orvena gör klart det nästa gång du startar röstläget."

Modellen och referenskoden finns på Hugging Face under licensen Apache 2.0.

Hur ofta den gör rätt

På testuppsättningar som skrivits separat från träningsdatan gjorde Cue, på alla sina 30 språk, rätt bedömning i 90,4 % av 900 avbrott och 95,2 % av 1 800 nya turer. Den tar bara genvägen när den är säker: av 990 förfrågningar som var avsedda för språkmodellen fick 1 ett kort svar i stället.

Bra att veta

• Språk. Cue kan 30 språk. Röstfunktionen lyssnar på de språk som Apples taligenkänning på enheten stöder, och de korta svaren fungerar på alla utom norska.
• Högtalare eller hörlurar. Med AirPods eller andra hörlurar lyssnar Orvena hela tiden. På iPhones egen högtalare förlitar den sig på ekoeliminering, och utan den lyssnar Orvena i stället mellan svaren.

Vanliga frågor

Vilka modeller går det att avbryta med?

Orvenas egen modell, Apple Intelligence, Private Cloud Compute och molnmodeller du lägger till med din egen nyckel. Cue körs på telefonen oavsett vilken modell som skriver svaret. I en live-röstsession med din egen OpenAI-nyckel hanterar OpenAI:s realtidsmodell avbrott själv.

Fungerar det offline?

Ja, när Cue och rösterna finns på telefonen och svaret kommer från Orvenas modell eller Apple Intelligence. Taligenkänningen, beslutet och rösten körs alla på iPhone.

Sparar Orvena det jag säger medan den pratar?

Den transkriberar det med Apples taligenkänning på enheten, precis som när den lyssnar efter din tur, och Cue läser transkriptionen på telefonen. Ord som den bedömer inte var menade för den kastas och blir inte en del av samtalet.

Varför säger Orvena "jag kollar" innan den svarar?

När en förfrågan går till språkmodellen och ingenting har sagts på 0,8 sekunder säger Orvena en kort replik så att du vet att den hörde dig. Om svaret tar mer än 10 sekunder säger den att den fortfarande arbetar med det.

Är Cue öppen källkod?

Vikterna, en Core ML-version för Neural Engine och referenskod finns på Hugging Face under Apache 2.0, samma licens som Qwen3-modellen den bygger på. Träningsdatan är också publicerad där, under CC BY 4.0.