Comment interrompre un assistant vocal IA sur iPhone, et ce qui se passe ensuite

Depuis la version 2.4, Orvena écoute pendant qu'il parle. Vous pouvez couper court à une réponse, changer d'avis en plein milieu ou dire "mmh" sans l'arrêter, et un petit modèle qui tourne sur le Neural Engine de l'iPhone détermine ce que vous vouliez faire. Voici ce qu'il fait dans chaque cas, les réponses courtes qu'il donne sans le modèle de langage, et sa fiabilité.

Ce qui se passe quand vous coupez la parole à Orvena

Pendant une session vocale, le micro reste ouvert tandis qu'Orvena réfléchit et parle. L'annulation d'écho de l'iPhone retire la voix d'Orvena de ce que capte le micro, si bien qu'il n'entend que vous. Dès que la reconnaissance vocale d'Apple détecte des mots, Orvena baisse sa voix à environ un tiers de son volume, et Cue, son modèle de tours de parole, lit ce que vous avez dit en regard de la phrase qu'Orvena était en train de prononcer. Trois issues sont possibles :

Pour une demande, Cue marque aussi le mot où elle commence : "ok, compris, maintenant regarde Lisbonne" arrive au modèle sous la forme "maintenant regarde Lisbonne". En cas de doute, il garde un mot de trop : un "ok" en plus ne coûte rien au modèle, alors que perdre "Lisbonne" lui coûterait.

Un arrêt clair prend effet pendant que vous parlez encore, dès que Cue en est sûr à au moins 90 %. Tout le reste attend une pause : 0,7 seconde sans nouveau mot, ou 0,4 seconde une fois que la reconnaissance a marqué votre phrase comme terminée. Un "hein", un mot adressé à quelqu'un d'autre dans la pièce ou la télé en fond sonore doivent laisser la réponse continuer, pour qu'elle ne soit pas coupée chaque fois que quelqu'un parle.

Cela fonctionne aussi pendant qu'Orvena prépare encore une réponse. Si vous ajoutez "en fait, mets plutôt 7 h 30" avant qu'il commence à parler, il abandonne la première demande et répond à la nouvelle.

Les réponses qui se passent du modèle de langage

Certaines choses que vous dites pendant une session vocale n'ont pas du tout besoin d'un modèle de langage. Quand un nouveau tour commence, Cue vérifie d'abord s'il s'agit de l'une des neuf phrases courtes qu'Orvena sait traiter seul, et si c'est le cas, Orvena répond aussitôt avec une phrase choisie parmi quelques réponses fixes :

Cue lit la fin de ce qu'Orvena a dit en dernier, si bien que les mêmes mots peuvent vouloir dire des choses différentes. Après "Je l'ajoute à votre calendrier ?", un "ok" ou un "merci" répond à la question, et il est transmis au modèle. Tout ce qui contient une demande est aussi transmis au modèle : "merci, maintenant ajoute du lait à la liste de courses" est une demande, pas un remerciement. Cue ne répond seul que lorsqu'il est sûr à au moins 90 %, et à 97 % pour un au revoir, car celui-ci met fin à la session.

Quand une demande est bien transmise au modèle et que rien n'a été dit depuis 0,8 seconde, Orvena dit quelque chose de court comme "D'accord, je regarde." Si la réponse n'est toujours pas prête au bout de 10 secondes, il dit "J'y travaille encore." Aucune des deux n'est prononcée une fois la réponse commencée.

Où la décision est prise

Cue est un petit modèle propre à Orvena, de 376 millions de paramètres, entraîné précisément pour ces deux décisions. Il tourne sur le Neural Engine de l'iPhone : sur un iPhone 17 Pro Max, une décision a pris environ 8 millisecondes avec le téléphone au repos et environ 10 pendant que le GPU était occupé à générer. Le GPU reste ainsi disponible pour le modèle de langage qui rédige les réponses, ce qui compte surtout quand ce modèle est celui d'Orvena, qui génère sur le même téléphone.

Cue ne lit que du texte : la transcription de la reconnaissance vocale sur l'appareil d'Apple et les mots qu'Orvena était en train de dire. Rien de ce qui concerne une interruption ne quitte le téléphone. C'est un téléchargement de 385 Mo, récupéré avec les voix une fois la voix débloquée, et la première session vocale le prépare une fois pour le Neural Engine, avec la même barre de progression que les voix. S'il n'a pas pu être téléchargé, par exemple parce que vous étiez hors ligne, la voix démarre quand même et vous prévient : "L'interruption est désactivée pour l'instant. Orvena terminera de la configurer la prochaine fois que vous lancerez la voix."

Le modèle et le code de référence sont sur Hugging Face sous licence Apache 2.0.

À quelle fréquence il voit juste

Sur des jeux de test rédigés séparément de ses données d'entraînement, couvrant ses 30 langues, Cue a pris la bonne décision pour 90,4 % des 900 interruptions et 95,2 % des 1 800 nouveaux tours de parole. Il ne prend le raccourci que lorsqu'il est sûr de lui : sur 990 demandes destinées au modèle de langage, 1 a reçu une réponse courte à la place.

Bon à savoir

• Langues. Cue connaît 30 langues. La voix écoute dans les langues prises en charge par la reconnaissance vocale sur l'appareil d'Apple, et les réponses courtes fonctionnent dans toutes ces langues, sauf le norvégien.
• Haut-parleur ou écouteurs. Avec des AirPods ou d'autres écouteurs, Orvena écoute en permanence. Sur le haut-parleur de l'iPhone, il s'appuie sur l'annulation d'écho, et sans elle, Orvena n'écoute qu'entre les réponses.

Questions fréquentes

Avec quels modèles l'interruption fonctionne-t-elle ?

Le propre modèle d'Orvena, Apple Intelligence, Private Cloud Compute et les modèles cloud que vous ajoutez avec votre propre clé. Cue tourne sur le téléphone, quel que soit le modèle qui rédige la réponse. Dans une session vocale en direct avec votre propre clé OpenAI, c'est le modèle temps réel d'OpenAI qui gère lui-même les interruptions.

Est-ce que ça fonctionne hors ligne ?

Oui, une fois que Cue et les voix sont sur le téléphone et que la réponse vient du modèle d'Orvena ou d'Apple Intelligence. La reconnaissance, la décision et la voix tournent toutes sur l'iPhone.

Orvena garde-t-il ce que je dis pendant qu'il parle ?

Il le transcrit avec la reconnaissance vocale sur l'appareil d'Apple, comme lorsqu'il vous écoute à votre tour, et Cue lit cette transcription sur le téléphone. Les mots qu'il juge ne pas lui être adressés sont écartés et n'entrent pas dans la conversation.

Pourquoi Orvena dit-il "je regarde" avant de répondre ?

Quand une demande part au modèle de langage et que rien n'a été dit depuis 0,8 seconde, Orvena prononce une courte phrase pour que vous sachiez qu'il vous a entendu. Si la réponse prend plus de 10 secondes, il vous dit qu'il y travaille encore.

Cue est-il open source ?

Les poids, une version Core ML pour le Neural Engine et le code de référence sont sur Hugging Face sous Apache 2.0, la même licence que le modèle Qwen3 sur lequel il repose. Les données d'entraînement y sont publiées aussi, sous CC BY 4.0.