Sådan afbryder du en AI-stemmeassistent på iPhone, og hvad der så sker

Siden version 2.4 lytter Orvena, mens den taler. Du kan afbryde et svar, ombestemme dig halvvejs eller sige "mhm" uden at stoppe den, og en lille model på iPhonens Neural Engine finder ud af, hvilket af de tre du mente. Her er, hvad den gør i hvert tilfælde, de korte svar, den giver uden sprogmodellen, og hvor godt det går.

Hvad der sker, når du taler ind over Orvena

Under en stemmesession er mikrofonen åben, mens Orvena tænker og taler. iPhonens ekkoundertrykkelse fjerner Orvenas egen stemme fra det, mikrofonen hører, så den kun opfanger dig. Så snart Apples talegenkendelse melder ord, skruer Orvena ned for stemmen til omkring en tredjedel af lydstyrken, og Cue, dens model for turtagning, læser det, du sagde, sammen med den sætning, Orvena var midt i. Der er tre udfald:

Ved en anmodning markerer Cue også det ord, hvor anmodningen begynder, så "okay, forstået, tjek så Lissabon" når frem til modellen som "tjek så Lissabon". Når den er i tvivl, beholder den hellere et ord for meget: Et ekstra "okay" koster ikke modellen noget, men et tabt "Lissabon" gør.

Et tydeligt stop træder i kraft, mens du stadig taler, så snart Cue er mindst 90 % sikker. Alt andet venter på en pause: 0,7 sekunder uden nye ord, eller 0,4 sekunder, når genkendelsen har markeret din sætning som færdig. Et "hm?", et ord til en anden i rummet eller fjernsynet i baggrunden skal tælle som fortsæt, så svaret ikke bliver afbrudt, hver gang nogen siger noget.

Det samme virker, mens Orvena stadig er ved at forberede et svar. Hvis du tilføjer "nej, lad os hellere sige 7:30", før den begynder at tale, holder den op med at arbejde på den første anmodning og svarer på den nye.

Svar, der springer sprogmodellen over

Noget af det, du siger i en stemmesession, kræver slet ikke en sprogmodel. Når en ny tur begynder, tjekker Cue først, om det er en af ni korte vendinger, som Orvena selv kan klare, og er det det, svarer Orvena med det samme med en af nogle få faste replikker:

Cue læser slutningen af det, Orvena sagde sidst, så de samme ord kan betyde forskellige ting. Efter "Skal jeg lægge det i din kalender?" er et "okay" eller et "tak" dit svar på spørgsmålet, og det går til modellen. Alt, der indeholder en anmodning, går også til modellen: "tak, og sæt så mælk på indkøbslisten" er en anmodning, ikke et tak. Cue svarer kun selv, når den er mindst 90 % sikker, og 97 % ved et farvel, fordi det afslutter sessionen.

Når en anmodning går til modellen, og der ikke er sagt noget i 0,8 sekunder, siger Orvena noget kort som "Okay, jeg kigger lige." Hvis svaret stadig ikke er klar efter 10 sekunder, siger den "Jeg arbejder stadig på det." Ingen af dem afspilles, når svaret først er gået i gang.

Hvor beslutningen træffes

Cue er Orvenas egen lille model med 376 millioner parametre, trænet til netop disse to beslutninger. Den kører på iPhonens Neural Engine, hvor en beslutning tog cirka 8 millisekunder med telefonen i hvile og cirka 10, mens GPU'en havde travlt med at generere, målt på en iPhone 17 Pro Max. Det overlader GPU'en til sprogmodellen, der skriver svarene, og det betyder mest, når den model er Orvenas egen og genererer på den samme telefon.

Cue læser kun tekst: transskriptionen fra Apples talegenkendelse på enheden og de ord, Orvena var ved at sige. Intet om en afbrydelse forlader telefonen. Den fylder 385 MB og hentes sammen med stemmerne, når du har låst stemme op, og den første stemmesession gør den klar til Neural Engine én gang, bag den samme statuslinje som stemmerne. Hvis den ikke kunne hentes, for eksempel fordi du var offline, starter stemme alligevel og fortæller dig: "Afbrydelser er slået fra indtil videre. Orvena gør dem klar, næste gang du starter en stemmesamtale."

Modellen og referencekoden ligger på Hugging Face under Apache 2.0-licensen.

Hvor ofte den rammer rigtigt

På testsæt, der er skrevet uafhængigt af træningsdataene, på alle sine 30 sprog, traf Cue det rigtige valg ved 90,4 % af 900 afbrydelser og 95,2 % af 1.800 nye ture. Den tager kun genvejen, når den er sikker: Af 990 anmodninger, der var tiltænkt sprogmodellen, fik 1 et kort svar i stedet.

Godt at vide

• Sprog. Cue kan 30 sprog. Stemme lytter på de sprog, som Apples talegenkendelse på enheden understøtter, og de korte svar virker på dem alle undtagen norsk.
• Højttaler eller hovedtelefoner. Med AirPods eller andre hovedtelefoner lytter Orvena hele tiden. På iPhonens egen højttaler er den afhængig af ekkoundertrykkelse, og uden den lytter Orvena i stedet mellem svarene.

Ofte stillede spørgsmål

Hvilke modeller virker afbrydelser med?

Orvenas egen model, Apple Intelligence, Private Cloud Compute og cloudmodeller, du tilføjer med din egen nøgle. Cue kører på telefonen, uanset hvilken model der skriver svaret. I en livestemmesession med din egen OpenAI-nøgle håndterer OpenAIs realtime-model selv afbrydelser.

Virker det offline?

Ja, når Cue og stemmerne er på telefonen, og svaret kommer fra Orvenas model eller Apple Intelligence. Genkendelsen, beslutningen og stemmen kører alle på iPhonen.

Gemmer Orvena det, jeg siger, mens den taler?

Den transskriberer det med Apples talegenkendelse på enheden, ligesom når den lytter efter din tur, og Cue læser transskriptionen på telefonen. Ord, som den vurderer ikke var ment til den, bliver kasseret og bliver ikke en del af samtalen.

Hvorfor siger Orvena "jeg kigger lige", før den svarer?

Når en anmodning går til sprogmodellen, og der ikke er sagt noget i 0,8 sekunder, siger Orvena en kort replik, så du ved, at den hørte dig. Hvis svaret tager mere end 10 sekunder, fortæller den dig, at den stadig arbejder på det.

Er Cue open source?

Vægtene, en Core ML-version til Neural Engine og referencekode ligger på Hugging Face under Apache 2.0, samme licens som Qwen3-modellen, den er bygget på. Træningsdataene er også offentliggjort der under CC BY 4.0.