Jak przerwać asystentowi głosowemu AI na iPhone'a i co dzieje się potem

Od wersji 2.4 Orvena słucha także wtedy, gdy mówi. Możesz uciąć odpowiedź, zmienić zdanie w jej połowie albo powiedzieć "mhm", nie zatrzymując jej, a mały model działający w układzie Neural Engine iPhone'a rozpoznaje, o co Ci chodziło. Oto, co robi w każdym z tych przypadków, jakich krótkich odpowiedzi udziela bez modelu językowego i jak dobrze sobie radzi.

Co się dzieje, gdy wchodzisz Orvenie w słowo

Podczas sesji głosowej mikrofon pozostaje włączony, gdy Orvena myśli i mówi. Redukcja echa w iPhonie usuwa głos Orveny z tego, co słyszy mikrofon, więc wyłapuje on tylko Ciebie. Gdy tylko rozpoznawanie mowy Apple wykryje słowa, Orvena ścisza głos do około jednej trzeciej głośności, a Cue, jej model tur rozmowy, zestawia to, co mówisz, ze zdaniem, które Orvena właśnie wypowiadała. Możliwe są trzy rozstrzygnięcia:

W przypadku prośby Cue zaznacza też słowo, od którego prośba się zaczyna, więc "okej, jasne, a teraz sprawdź Lizbonę" trafia do modelu jako "a teraz sprawdź Lizbonę". Gdy nie ma pewności, zostawia o jedno słowo za dużo: dodatkowe "okej" nic modelu nie kosztuje, a utrata "Lizbony" by kosztowała.

Wyraźne polecenie zatrzymania działa, jeszcze zanim skończysz mówić, gdy tylko Cue ma co najmniej 90% pewności. Wszystko inne czeka na pauzę: 0,7 sekundy bez nowych słów albo 0,4 sekundy, jeśli rozpoznawanie mowy oznaczyło już Twoje zdanie jako zakończone. "Hę?", słowo rzucone do kogoś innego w pokoju albo telewizor w tle nie powinny zatrzymywać Orveny, żeby odpowiedź nie była ucinana za każdym razem, gdy ktoś się odezwie.

To samo działa, gdy Orvena dopiero przygotowuje odpowiedź. Jeśli dodasz "a właściwie ustaw na 7:30", zanim zacznie mówić, przestanie pracować nad pierwszą prośbą i odpowie na nową.

Odpowiedzi z pominięciem modelu językowego

Niektóre rzeczy, które mówisz podczas sesji głosowej, w ogóle nie potrzebują modelu językowego. Gdy zaczyna się nowa tura, Cue najpierw sprawdza, czy to jedna z dziewięciu krótkich fraz, które Orvena obsługuje sama, a jeśli tak, Orvena od razu odpowiada jednym z kilku stałych zdań:

Cue czyta końcówkę tego, co Orvena powiedziała ostatnio, więc te same słowa mogą znaczyć różne rzeczy. Po pytaniu "Dodać to do kalendarza?" słowo "okej" albo "dzięki" to Twoja odpowiedź na pytanie i trafia do modelu. Wszystko, co zawiera prośbę, też trafia do modelu: "dzięki, a teraz dodaj mleko do listy zakupów" to prośba, a nie podziękowanie. Cue odpowiada sam tylko wtedy, gdy ma co najmniej 90% pewności, a przy pożegnaniu 97%, bo ono kończy sesję.

Gdy prośba faktycznie trafia do modelu i przez 0,8 sekundy panuje cisza, Orvena mówi coś krótkiego, na przykład "Dobrze, już sprawdzam." Jeśli po 10 sekundach odpowiedź nadal nie jest gotowa, mówi "Jeszcze nad tym pracuję." Żadna z tych fraz nie pada, gdy odpowiedź już się zaczęła.

Gdzie zapada decyzja

Cue to mały, własny model Orveny, z 376 milionami parametrów, wytrenowany dokładnie do tych dwóch decyzji. Działa w układzie Neural Engine iPhone'a: na iPhonie 17 Pro Max jedna decyzja zajmowała około 8 milisekund przy bezczynnym telefonie i około 10, gdy GPU było zajęte generowaniem. Dzięki temu GPU pozostaje do dyspozycji modelu językowego, który pisze odpowiedzi, co ma największe znaczenie, gdy jest to własny model Orveny, generujący na tym samym telefonie.

Cue czyta wyłącznie tekst: transkrypcję z rozpoznawania mowy Apple na urządzeniu i słowa, które Orvena właśnie wypowiadała. Nic, co dotyczy przerwania, nie opuszcza telefonu. Pakiet do pobrania ma 385 MB i jest pobierany razem z głosami po odblokowaniu głosu, a pierwsza sesja głosowa jednorazowo przygotowuje go dla układu Neural Engine, przy tym samym pasku postępu co głosy. Jeśli nie udało się go pobrać, na przykład z powodu braku połączenia, głos i tak się uruchamia i informuje: "Przerywanie jest na razie wyłączone. Orvena dokończy konfigurację, gdy następnym razem rozpoczniesz rozmowę głosową."

Model i kod referencyjny są dostępne na Hugging Face na licencji Apache 2.0.

Jak często decyduje trafnie

Na zestawach testowych napisanych niezależnie od danych treningowych, we wszystkich 30 językach, Cue podjął właściwą decyzję w 90,4% z 900 przerwań i w 95,2% z 1 800 nowych tur. Idzie na skróty tylko wtedy, gdy jest pewny: z 990 próśb przeznaczonych dla modelu językowego 1 dostała zamiast tego krótką odpowiedź.

Warto wiedzieć

• Języki. Cue zna 30 języków. Głos słucha w językach obsługiwanych przez rozpoznawanie mowy Apple na urządzeniu, a krótkie odpowiedzi działają we wszystkich z nich z wyjątkiem norweskiego.
• Głośnik czy słuchawki. Z AirPods lub innymi słuchawkami Orvena słucha przez cały czas. Na wbudowanym głośniku iPhone'a polega na redukcji echa, a bez niej Orvena słucha tylko między odpowiedziami.

Częste pytania

Z jakimi modelami działa przerywanie?

Z własnym modelem aplikacji Orvena, z Apple Intelligence, z Private Cloud Compute i z modelami w chmurze dodanymi z własnym kluczem. Cue działa na telefonie bez względu na to, który model pisze odpowiedź. W sesji głosowej na żywo z własnym kluczem OpenAI przerwaniami zajmuje się sam model realtime od OpenAI.

Czy działa offline?

Tak, gdy Cue i głosy są już na telefonie, a odpowiedzi udziela model aplikacji Orvena lub Apple Intelligence. Rozpoznawanie mowy, decyzja i głos nie opuszczają iPhone'a.

Czy Orvena zachowuje to, co mówię, gdy sama mówi?

Transkrybuje to za pomocą rozpoznawania mowy Apple na urządzeniu, tak jak wtedy, gdy słucha Twojej wypowiedzi, a Cue czyta tę transkrypcję na telefonie. Słowa, które uzna za nieskierowane do niej, są odrzucane i nie stają się częścią rozmowy.

Dlaczego Orvena mówi "już sprawdzam" przed odpowiedzią?

Gdy prośba trafia do modelu językowego i przez 0,8 sekundy panuje cisza, Orvena mówi krótkie zdanie, aby dać Ci znać, że Cię usłyszała. Jeśli odpowiedź zajmuje więcej niż 10 sekund, mówi, że wciąż nad nią pracuje.

Czy Cue jest open source?

Wagi, wersja Core ML dla układu Neural Engine i kod referencyjny są na Hugging Face na licencji Apache 2.0, tej samej co model Qwen3, na którym jest zbudowany. Dane treningowe również są tam opublikowane, na licencji CC BY 4.0.