Zo onderbreek je een AI-spraakassistent op de iPhone, en wat er daarna gebeurt

Sinds versie 2.4 luistert Orvena terwijl het praat. Je kunt een antwoord afbreken, halverwege van gedachten veranderen of "hm-hm" zeggen zonder het te stoppen, en een klein model op de Neural Engine van de iPhone bepaalt welke van die drie je bedoelde. Hier lees je wat Orvena in elk geval doet, welke korte antwoorden het zonder het taalmodel geeft en hoe goed dat gaat.

Wat er gebeurt als je door Orvena heen praat

Tijdens een spraaksessie blijft de microfoon open terwijl Orvena nadenkt en spreekt. De echo-onderdrukking van de iPhone haalt de eigen stem van Orvena uit wat de microfoon hoort, zodat alleen jij wordt opgepikt. Zodra de spraakherkenning van Apple woorden doorgeeft, zet Orvena zijn stem terug naar ongeveer een derde van het volume, en Cue, zijn model voor de beurtwisseling, legt wat je zei naast de zin waar Orvena middenin zat. Er zijn drie uitkomsten:

Bij een verzoek markeert Cue ook het woord waar het verzoek begint, zodat "oké, duidelijk, en nu Lissabon" als "en nu Lissabon" bij het model aankomt. Twijfelt Cue, dan houdt het liever een woord te veel: een extra "oké" kost het model niets, "Lissabon" kwijtraken wel.

Een duidelijke stop werkt al terwijl je nog praat, zodra Cue voor minstens 90% zeker is. Al het andere wacht op een pauze: 0,7 seconde zonder nieuwe woorden, of 0,4 seconde als de herkenning je zin al als afgerond heeft gemarkeerd. Een "hè?", een woord tegen iemand anders in de kamer of de tv op de achtergrond moeten als doorgaan tellen, zodat het antwoord niet elke keer wordt afgebroken als er iemand iets zegt.

Hetzelfde werkt terwijl Orvena een antwoord nog voorbereidt. Zeg je "nee, maak er toch maar 7:30 van" voordat het begint te praten, dan stopt het met het eerste verzoek en beantwoordt het het nieuwe.

Antwoorden zonder taalmodel

Voor sommige dingen die je in een spraaksessie zegt, is helemaal geen taalmodel nodig. Als een nieuwe beurt begint, kijkt Cue eerst of het een van negen korte zinnetjes is die Orvena zelf kan afhandelen, en zo ja, dan antwoordt Orvena meteen met een van een paar vaste zinnen:

Cue leest het einde van wat Orvena het laatst zei, zodat dezelfde woorden iets anders kunnen betekenen. Na "Zal ik het in je agenda zetten?" is een "oké" of een "dank je" je antwoord op die vraag, en dat gaat naar het model. Alles met een verzoek erin gaat ook naar het model: "dank je, en zet nu melk op het boodschappenlijstje" is een verzoek, geen bedankje. Cue antwoordt alleen zelf als het voor minstens 90% zeker is, en voor 97% bij een afscheid, omdat dat de sessie beëindigt.

Gaat een verzoek wel naar het model en is er 0,8 seconde niets gezegd, dan zegt Orvena iets korts als "Oké, ik kijk even." Is het antwoord na 10 seconden nog niet klaar, dan zegt het "Ik ben er nog mee bezig." Geen van beide klinkt nog zodra het antwoord is begonnen.

Waar de beslissing valt

Cue is een klein eigen model van Orvena, met 376 miljoen parameters, getraind voor precies deze twee beslissingen. Het draait op de Neural Engine van de iPhone, waar één beslissing ongeveer 8 milliseconden duurde met de telefoon in rust en ongeveer 10 terwijl de GPU bezig was met genereren, gemeten op een iPhone 17 Pro Max. Zo blijft de GPU vrij voor het taalmodel dat de antwoorden schrijft, en dat telt het zwaarst als dat model het eigen model van Orvena is, dat op dezelfde telefoon genereert.

Cue leest alleen tekst: de transcriptie van de spraakherkenning van Apple op het toestel en de woorden die Orvena aan het zeggen was. Niets van een onderbreking verlaat de telefoon. Het is een download van 385 MB, die samen met de stemmen wordt opgehaald nadat je spraak hebt ontgrendeld, en de eerste spraaksessie bereidt het één keer voor op de Neural Engine, achter dezelfde voortgangsbalk als de stemmen. Kon het niet worden gedownload, bijvoorbeeld omdat je offline was, dan start spraak toch en meldt het: "Onderbreken staat voorlopig uit. Orvena maakt het af wanneer je spraak de volgende keer start."

Het model en de referentiecode staan op Hugging Face onder de Apache 2.0-licentie.

Hoe vaak het goed gaat

Op testsets die los van de trainingsdata zijn geschreven, in alle 30 talen, nam Cue de juiste beslissing bij 90,4% van 900 onderbrekingen en 95,2% van 1.800 nieuwe beurten. Het neemt de korte route alleen als het zeker is: van 990 verzoeken die voor het taalmodel bedoeld waren, kreeg er 1 in plaats daarvan een kort antwoord.

Goed om te weten

• Talen. Cue kent 30 talen. Spraak luistert in de talen die de spraakherkenning van Apple op het toestel ondersteunt, en de korte antwoorden werken in al die talen behalve het Noors.
• Luidspreker of koptelefoon. Met AirPods of een andere koptelefoon luistert Orvena de hele tijd. Via de luidspreker van de iPhone zelf is het afhankelijk van echo-onderdrukking, en zonder die luistert Orvena in plaats daarvan tussen de antwoorden door.

Veelgestelde vragen

Met welke modellen werkt onderbreken?

Met het eigen model van Orvena, Apple Intelligence, Private Cloud Compute en cloudmodellen die je met je eigen sleutel toevoegt. Cue draait op de telefoon, welk model het antwoord ook schrijft. In een livespraaksessie met je eigen OpenAI-sleutel handelt het realtime model van OpenAI onderbrekingen zelf af.

Werkt het offline?

Ja, zodra Cue en de stemmen op de telefoon staan en het antwoord van het model van Orvena of van Apple Intelligence komt. Herkenning, beslissing en stem draaien allemaal op de iPhone.

Bewaart Orvena wat ik zeg terwijl het praat?

Het zet je woorden om in tekst met de spraakherkenning van Apple op het toestel, net als wanneer het op jouw beurt wacht, en Cue leest die transcriptie op de telefoon. Woorden die volgens Cue niet voor Orvena bedoeld waren, worden weggegooid en komen niet in het gesprek terecht.

Waarom zegt Orvena "ik kijk even" voordat het antwoordt?

Als een verzoek naar het taalmodel gaat en er 0,8 seconde niets is gezegd, zegt Orvena een kort zinnetje, zodat je weet dat het je heeft gehoord. Duurt het antwoord langer dan 10 seconden, dan laat het weten dat het er nog mee bezig is.

Is Cue open source?

De gewichten, een Core ML-versie voor de Neural Engine en referentiecode staan op Hugging Face onder Apache 2.0, dezelfde licentie als het Qwen3-model waarop het is gebouwd. De trainingsdata zijn daar ook gepubliceerd, onder CC BY 4.0.