Hogyan szakíthatsz félbe egy AI-hangasszisztenst iPhone-on, és mi történik utána

A 2.4-es verzió óta az Orvena beszéd közben is figyel. Félbeszakíthatod a választ, menet közben meggondolhatod magad, vagy mondhatsz egy "aha"-t anélkül, hogy leállítanád, és egy kis modell az iPhone Neural Engine-jén kitalálja, melyikre gondoltál. Ez a cikk bemutatja, mit tesz az egyes esetekben, milyen rövid válaszokat ad a nyelvi modell nélkül, és mennyire jól működik.

Mi történik, ha közbeszólsz, miközben az Orvena beszél

Hangos beszélgetés közben a mikrofon akkor is nyitva marad, amikor az Orvena gondolkodik és beszél. Az iPhone visszhangszűrése eltávolítja az Orvena saját hangját abból, amit a mikrofon hall, így csak téged hall. Amint az Apple beszédfelismerője szavakat jelez, az Orvena a hangerejét nagyjából a harmadára halkítja, a Cue pedig, vagyis a fordulókat kezelő modellje, elolvassa, amit mondtál, azzal a mondattal együtt, amelynek a közepén az Orvena éppen tartott. Háromféle kimenetel lehetséges:

Kérésnél a Cue azt a szót is megjelöli, ahol a kérés kezdődik, így az "oké, értem, most nézd meg Lisszabont" úgy jut el a modellhez, hogy "most nézd meg Lisszabont". Ha bizonytalan, inkább eggyel több szót hagy meg: egy fölösleges "oké" semmibe sem kerül a modellnek, a "Lisszabon" elvesztése viszont sokba kerülne.

Az egyértelmű leállítás még beszéd közben életbe lép, amint a Cue legalább 90 százalékig biztos benne. Minden más szünetre vár: 0,7 másodpercre, amely alatt nem hangzik el új szó, vagy 0,4 másodpercre, ha a felismerő már befejezettnek jelölte a mondatodat. Egy "hm", egy szó valaki másnak a szobában vagy a háttérben szóló tévé folytatásnak számítson, hogy a válasz ne szakadjon meg minden alkalommal, amikor valaki megszólal.

Ugyanez akkor is működik, amikor az Orvena még készíti a választ. Ha még a megszólalása előtt hozzáteszed, hogy "vagyis inkább 7:30-ra", abbahagyja a munkát az első kérésen, és az újra válaszol.

Válaszok, amelyekhez nem kell nyelvi modell

Néhány dologhoz, amit hangos beszélgetésben mondasz, egyáltalán nem kell nyelvi modell. Amikor új kör kezdődik, a Cue először megnézi, hogy a kilenc rövid kifejezés valamelyikéről van-e szó, amelyet az Orvena maga is el tud intézni, és ha igen, az Orvena azonnal válaszol néhány rögzített mondat egyikével:

A Cue azt is figyelembe veszi, hogyan végződött, amit az Orvena utoljára mondott, így ugyanazok a szavak mást és mást jelenthetnek. A "Felvegyem a naptáradba?" kérdés után az "oké" vagy a "köszi" a kérdésre adott válaszod, és a modellhez kerül. Minden, amiben kérés van, szintén a modellhez kerül: a "köszi, most írd fel a tejet a bevásárlólistára" kérés, nem köszönet. A Cue csak akkor válaszol magától, ha legalább 90 százalékig biztos, búcsúnál pedig 97 százalékig, mert az véget vet a beszélgetésnek.

Ha egy kérés a modellhez kerül, és 0,8 másodpercig senki sem szól, az Orvena mond valami rövidet, például: "Rendben, megnézem." Ha a válasz 10 másodperc után sincs kész, azt mondja: "Még dolgozom rajta." Egyik sem hangzik el, ha a válasz már elkezdődött.

Hol születik a döntés

A Cue az Orvena saját kis modellje, 376 millió paraméterrel, kifejezetten erre a két döntésre tanítva. Az iPhone Neural Engine-jén fut, ahol egy döntés nagyjából 8 ezredmásodpercig tartott tétlen telefonon, és nagyjából 10-ig, miközben a GPU szöveget generált; a mérés iPhone 17 Pro Maxon készült. Így a GPU a válaszokat író nyelvi modellé marad, ami akkor számít a legtöbbet, ha az Orvena saját modellje generál ugyanazon a telefonon.

A Cue csak szöveget olvas: az Apple eszközön futó felismerőjének átiratát és azokat a szavakat, amelyeket az Orvena éppen mondott. A közbeszólásokból semmi sem hagyja el a telefont. 385 MB-os letöltés, amely a hang feloldása után a hangokkal együtt érkezik. Az első hangos beszélgetés egyszer előkészíti a Neural Engine-hez, ugyanazzal a folyamatjelzővel, mint a hangokat. Ha nem tudott letöltődni, például mert offline voltál, a hang ettől még elindul, és közli: "A közbeszólás egyelőre ki van kapcsolva. Az Orvena a hang következő indításakor befejezi a beállítását."

A modell és a referenciakód a Hugging Face oldalon érhető el, Apache 2.0 licenccel.

Milyen gyakran dönt jól

A tanítóadatoktól külön megírt tesztkészleteken, mind a 30 nyelvén, a Cue 900 közbeszólás 90,4%-ában és 1 800 új kör 95,2%-ában döntött helyesen. Csak akkor választja a rövidebb utat, ha biztos a dolgában: a nyelvi modellnek szánt 990 kérésből csak 1 kapott helyette rövid választ.

Jó tudni

• Nyelvek. A Cue 30 nyelvet ismer. A hang azokon a nyelveken figyel, amelyeket az Apple eszközön futó felismerője támogat, a rövid válaszok pedig a norvég kivételével mindegyiken működnek.
• Hangszóró vagy fejhallgató. AirPodsszal vagy más fejhallgatóval az Orvena végig figyel. Az iPhone saját hangszóróján a visszhangszűrésre támaszkodik, nélküle pedig csak a válaszok között figyel.

Gyakori kérdések

Mely modellekkel működik a közbeszólás?

Az Orvena saját modelljével, az Apple Intelligence-szel, a Private Cloud Compute-tal és a saját kulccsal hozzáadott felhőmodellekkel. A Cue a telefonon fut, bármelyik modell írja is a választ. Saját OpenAI-kulccsal folytatott élő hangos beszélgetésben az OpenAI valós idejű modellje maga kezeli a közbeszólásokat.

Offline is működik?

Igen, ha a Cue és a hangok már a telefonon vannak, és a válasz az Orvena modelljétől vagy az Apple Intelligence-től jön. A felismerés, a döntés és a hang is az iPhone-on fut.

Megőrzi az Orvena, amit mondok, miközben beszél?

Átírja az Apple eszközön futó felismerőjével, ugyanúgy, mint amikor arra vár, hogy te következz, és a Cue a telefonon olvassa el ezt az átiratot. Azokat a szavakat, amelyekről úgy ítéli, hogy nem neki szóltak, elveti, és nem válnak a beszélgetés részévé.

Miért mondja az Orvena válasz előtt, hogy "megnézem"?

Ha egy kérés a nyelvi modellhez kerül, és 0,8 másodpercig senki sem szól, az Orvena mond egy rövid mondatot, hogy tudd, hallott téged. Ha a válasz 10 másodpercnél tovább tart, szól, hogy még dolgozik rajta.

Nyílt forráskódú a Cue?

A súlyok, a Neural Engine-hez készült Core ML-változat és a referenciakód a Hugging Face oldalon érhető el Apache 2.0 licenccel, ugyanazzal, amellyel a Qwen3 modell is, amelyre épül. A tanítóadatok is ott érhetők el, CC BY 4.0 licenccel.