So unterbrichst du einen KI-Sprachassistenten auf dem iPhone, und was dann passiert

Seit Version 2.4 hört Orvena zu, während es spricht. Du kannst eine Antwort abkürzen, es dir mittendrin anders überlegen oder "mhm" sagen, ohne es zu stoppen, und ein kleines Modell auf der Neural Engine des iPhone erkennt, was davon du gemeint hast. Hier steht, was Orvena jeweils tut, welche kurzen Antworten es ohne das Sprachmodell gibt und wie zuverlässig das funktioniert.

Was passiert, wenn du Orvena ins Wort fällst

Während einer Sprachsitzung bleibt das Mikrofon offen, während Orvena nachdenkt und spricht. Die Echounterdrückung des iPhone entfernt Orvenas eigene Stimme aus dem, was das Mikrofon hört, sodass es nur dich aufnimmt. Sobald Apples Spracherkennung Wörter meldet, senkt Orvena seine Stimme auf etwa ein Drittel der Lautstärke, und Cue, sein Modell für den Sprecherwechsel, liest, was du gesagt hast, zusammen mit dem Satz, den Orvena gerade spricht. Es gibt drei mögliche Ergebnisse:

Bei einer Anfrage markiert Cue außerdem das Wort, an dem die Anfrage beginnt, sodass "ok, verstanden, und jetzt noch Lissabon" als "und jetzt noch Lissabon" beim Modell ankommt. Wenn es unsicher ist, behält es lieber ein Wort zu viel: Ein zusätzliches "okay" kostet das Modell nichts, ein verlorenes "Lissabon" schon.

Ein klares Stopp greift schon, während du noch sprichst, sobald Cue sich zu mindestens 90 % sicher ist. Alles andere wartet auf eine Pause: 0,7 Sekunden ohne neue Wörter oder 0,4 Sekunden, sobald die Erkennung deinen Satz als abgeschlossen markiert hat. Ein "hm?", ein Wort an jemand anderen im Raum oder der Fernseher im Hintergrund sollen als Weitermachen zählen, damit die Antwort nicht jedes Mal abbricht, wenn jemand spricht.

Das funktioniert genauso, während Orvena eine Antwort noch vorbereitet. Wenn du "nee, doch lieber um 7:30" nachschiebst, bevor es zu sprechen beginnt, hört es auf, an der ersten Anfrage zu arbeiten, und beantwortet die neue.

Antworten ohne Sprachmodell

Manches, was du in einer Sprachsitzung sagst, braucht überhaupt kein Sprachmodell. Wenn ein neuer Redebeitrag beginnt, prüft Cue zuerst, ob es eine von neun kurzen Wendungen ist, die Orvena selbst erledigen kann, und wenn ja, antwortet Orvena sofort mit einem von wenigen festen Sätzen:

Cue liest das Ende dessen, was Orvena zuletzt gesagt hat, deshalb können dieselben Worte Verschiedenes bedeuten. Nach "Soll ich das in deinen Kalender eintragen?" ist ein "okay" oder ein "danke" deine Antwort auf die Frage, und sie geht an das Modell. Alles, was eine Bitte enthält, geht ebenfalls an das Modell: "danke, und jetzt setz Milch auf die Einkaufsliste" ist eine Anfrage, kein Dankeschön. Cue antwortet nur selbst, wenn es sich zu mindestens 90 % sicher ist, bei einem Abschied zu 97 %, weil der die Sitzung beendet.

Wenn eine Anfrage an das Modell geht und 0,8 Sekunden lang nichts gesagt wurde, sagt Orvena etwas Kurzes wie "Okay, ich schaue nach." Ist die Antwort nach 10 Sekunden immer noch nicht fertig, sagt es "Ich bin noch dran." Beides entfällt, sobald die Antwort begonnen hat.

Wo die Entscheidung fällt

Cue ist ein kleines eigenes Modell von Orvena mit 376 Millionen Parametern, trainiert für genau diese zwei Entscheidungen. Es läuft auf der Neural Engine des iPhone, wo eine Entscheidung im Leerlauf etwa 8 Millisekunden dauerte und etwa 10, während die GPU mit dem Generieren beschäftigt war, gemessen auf einem iPhone 17 Pro Max. So bleibt die GPU frei für das Sprachmodell, das die Antworten schreibt, und das zählt am meisten, wenn dieses Modell Orvenas eigenes ist und auf demselben Telefon generiert.

Cue liest nur Text: das Transkript von Apples Spracherkennung auf dem Gerät und die Wörter, die Orvena gerade sagte. Nichts von einer Unterbrechung verlässt das Telefon. Es ist ein Download von 385 MB, der zusammen mit den Stimmen geladen wird, nachdem du den Sprachmodus freigeschaltet hast, und die erste Sprachsitzung bereitet es einmalig für die Neural Engine vor, hinter derselben Fortschrittsanzeige wie die Stimmen. Konnte es nicht geladen werden, etwa weil du offline warst, startet der Sprachmodus trotzdem und teilt dir mit: "Unterbrechen ist vorerst aus. Orvena richtet es fertig ein, wenn du den Sprachmodus das nächste Mal startest."

Das Modell und Referenzcode liegen auf Hugging Face unter der Lizenz Apache 2.0.

Wie oft es richtig liegt

Auf Testsets, die getrennt von den Trainingsdaten geschrieben wurden, lag Cue in allen 30 seiner Sprachen bei 90,4 % von 900 Unterbrechungen und bei 95,2 % von 1.800 neuen Redebeiträgen richtig. Die Abkürzung nimmt es nur, wenn es sich sicher ist: Von 990 Anfragen, die für das Sprachmodell bestimmt waren, bekam 1 stattdessen eine kurze Antwort.

Gut zu wissen

• Sprachen. Cue kennt 30 Sprachen. Der Sprachmodus hört in den Sprachen zu, die Apples Spracherkennung auf dem Gerät unterstützt, und die kurzen Antworten funktionieren in allen davon außer Norwegisch.
• Lautsprecher oder Kopfhörer. Mit AirPods oder anderen Kopfhörern hört Orvena die ganze Zeit zu. Über den eingebauten Lautsprecher des iPhone verlässt es sich auf die Echounterdrückung, und ohne sie hört Orvena stattdessen zwischen den Antworten zu.

Häufige Fragen

Mit welchen Modellen funktioniert das Unterbrechen?

Mit Orvenas eigenem Modell, Apple Intelligence, Private Cloud Compute und Cloud-Modellen, die du mit deinem eigenen Schlüssel hinzufügst. Cue läuft auf dem Telefon, egal welches Modell die Antwort schreibt. In einer Live-Sprachsitzung mit deinem eigenen OpenAI-Schlüssel übernimmt das Realtime-Modell von OpenAI das Unterbrechen selbst.

Funktioniert es offline?

Ja, sobald Cue und die Stimmen auf dem Telefon sind und die Antwort von Orvenas Modell oder Apple Intelligence kommt. Erkennung, Entscheidung und Stimme laufen alle auf dem iPhone.

Behält Orvena, was ich sage, während es spricht?

Es transkribiert deine Worte mit Apples Spracherkennung auf dem Gerät, so wie wenn es auf deinen Redebeitrag wartet, und Cue liest dieses Transkript auf dem Telefon. Wörter, die laut Cue nicht für Orvena bestimmt waren, werden verworfen und werden nicht Teil der Unterhaltung.

Warum sagt Orvena "ich schaue nach", bevor es antwortet?

Wenn eine Anfrage an das Sprachmodell geht und 0,8 Sekunden lang nichts gesagt wurde, sagt Orvena einen kurzen Satz, damit du weißt, dass es dich gehört hat. Dauert die Antwort länger als 10 Sekunden, sagt es dir, dass es noch daran arbeitet.

Ist Cue Open Source?

Die Gewichte, eine Core-ML-Version für die Neural Engine und Referenzcode liegen auf Hugging Face unter Apache 2.0, derselben Lizenz wie das Qwen3-Modell, auf dem es aufbaut. Die Trainingsdaten sind dort ebenfalls veröffentlicht, unter CC BY 4.0.