Kako prekiniti glasovnega AI asistenta v telefonu iPhone in kaj se zgodi potem

Od različice 2.4 Orvena posluša tudi, ko govori. Odgovor lahko prekinete, si sredi njega premislite ali rečete "mhm", ne da bi jo ustavili, majhen model na enoti Neural Engine v telefonu iPhone pa ugotovi, kaj od tega ste imeli v mislih. V nadaljevanju je opisano, kaj naredi v vsakem primeru, katere kratke odgovore da brez jezikovnega modela in kako zanesljivo deluje.

Kaj se zgodi, ko Orveni sežete v besedo

Med glasovno sejo ostane mikrofon vklopljen, tudi ko Orvena razmišlja in govori. Odpravljanje odmeva v telefonu iPhone iz tega, kar sliši mikrofon, odstrani Orvenin lastni glas, zato zazna samo vas. Takoj ko Applov prepoznavalnik govora sporoči prve besede, Orvena glas utiša na približno tretjino glasnosti, Cue, njen model za izmenjavo v pogovoru, pa prebere, kaj ste rekli, skupaj s stavkom, ki ga je Orvena ravno izgovarjala. Možni izidi so trije:

Pri zahtevi Cue označi tudi besedo, kjer se zahteva začne, zato "v redu, razumem, zdaj pa preveri Lizbono" pride do modela kot "zdaj pa preveri Lizbono". Ko ni prepričan, raje obdrži besedo preveč: odvečni "v redu" modelu ne škodi, izguba besede "Lizbona" pa bi mu škodila.

Jasen ukaz za ustavitev začne veljati, še medtem ko govorite, takoj ko je Cue vsaj 90-odstotno prepričan. Vse drugo počaka na premor: 0,7 sekunde brez novih besed ali 0,4 sekunde, ko prepoznavalnik vaš stavek označi kot dokončan. "Hm", beseda nekomu drugemu v sobi ali televizija v ozadju naj štejejo kot nadaljevanje, da se odgovor ne prekine vsakič, ko kdo spregovori.

Enako deluje, ko Orvena odgovor šele pripravlja. Če dodate "pravzaprav naj bo ob 7.30", preden začne govoriti, preneha delati na prvi zahtevi in odgovori na novo.

Odgovori brez jezikovnega modela

Nekatere stvari, ki jih rečete v glasovni seji, jezikovnega modela sploh ne potrebujejo. Ko se začne nova izmenjava, Cue najprej preveri, ali gre za eno od devetih kratkih fraz, ki jih Orvena obvlada sama, in če gre, Orvena takoj odgovori z eno od nekaj vnaprej določenih povedi:

Cue prebere konec tega, kar je Orvena nazadnje rekla, zato lahko iste besede pomenijo različne stvari. Po vprašanju "Naj to dodam v vaš koledar?" sta "v redu" ali "hvala" vaš odgovor na vprašanje in gresta k modelu. K modelu gre tudi vse, kar vsebuje zahtevo: "hvala, zdaj pa dodaj mleko na nakupovalni seznam" je zahteva, ne zahvala. Cue sam odgovori le, ko je vsaj 90-odstotno prepričan, pri slovesu pa 97-odstotno, ker to konča sejo.

Ko gre zahteva k modelu in 0,8 sekunde nihče nič ne reče, Orvena reče nekaj kratkega, na primer "V redu, preverim." Če odgovor po 10 sekundah še ni pripravljen, reče "Še delam na tem." Nobeno od tega se ne predvaja, ko se odgovor že začne.

Kje teče odločanje

Cue je majhen lastni model aplikacije Orvena s 376 milijoni parametrov, naučen točno za ti dve odločitvi. Teče na enoti Neural Engine v telefonu iPhone, kjer je ena odločitev trajala približno 8 milisekund, ko telefon ni bil obremenjen, in približno 10, ko je grafični procesor ustvarjal besedilo, izmerjeno na iPhonu 17 Pro Max. Grafični procesor tako ostane jezikovnemu modelu, ki piše odgovore, kar je najpomembneje, ko gre za Orvenin lastni model, ki ustvarja na istem telefonu.

Cue bere samo besedilo: prepis iz Applovega prepoznavalnika v napravi in besede, ki jih je Orvena ravno govorila. Nič o prekinitvi ne zapusti telefona. Prenos meri 385 MB in se prenese skupaj z glasovi, ko odklenete glas, prva glasovna seja pa ga enkrat pripravi za enoto Neural Engine, pri čemer napredek kaže isti kazalnik kot pri glasovih. Če se ni mogel prenesti, na primer ker niste imeli povezave, se glas vseeno zažene in vam sporoči: "Prekinjanje je za zdaj izklopljeno. Orvena ga bo dokončala, ko boste naslednjič zagnali glas."

Model in referenčna koda sta na Hugging Face z licenco Apache 2.0.

Kako pogosto zadene

Na testnih naborih, napisanih ločeno od učnih podatkov, v vseh svojih 30 jezikih se je Cue pravilno odločil pri 90,4 % od 900 prekinitev in pri 95,2 % od 1.800 novih izmenjav. Bližnjico izbere le, ko je prepričan: od 990 zahtev, namenjenih jezikovnemu modelu, je samo 1 namesto tega dobila kratek odgovor.

Dobro je vedeti

• Jeziki. Cue pozna 30 jezikov. Glas posluša v jezikih, ki jih podpira Applov prepoznavalnik v napravi, kratki odgovori pa delujejo v vseh razen v norveščini.
• Zvočnik ali slušalke. Z AirPods ali drugimi slušalkami Orvena posluša ves čas. Na vgrajenem zvočniku telefona iPhone se zanaša na odpravljanje odmeva, brez njega pa posluša samo med odgovori.

Pogosta vprašanja

S katerimi modeli deluje prekinjanje?

Z lastnim modelom aplikacije Orvena, z Apple Intelligence, s Private Cloud Compute in z oblačnimi modeli, ki jih dodate z lastnim ključem. Cue teče v telefonu ne glede na to, kateri model piše odgovor. V glasovni seji v živo z lastnim ključem OpenAI prekinitve obravnava kar model OpenAI Realtime sam.

Ali deluje brez povezave?

Da, ko so Cue in glasovi že v telefonu, odgovor pa pride od modela aplikacije Orvena ali od Apple Intelligence. Prepoznavanje, odločitev in glas tečejo v telefonu iPhone.

Ali Orvena shrani, kar rečem, medtem ko govori?

Prepiše to z Applovim prepoznavalnikom v napravi, tako kot takrat, ko čaka, da pridete na vrsto, Cue pa ta prepis prebere v telefonu. Besede, za katere presodi, da niso bile namenjene njej, zavrže in ne postanejo del pogovora.

Zakaj Orvena pred odgovorom reče "preverim"?

Ko gre zahteva k jezikovnemu modelu in 0,8 sekunde nihče nič ne reče, Orvena izgovori kratek stavek, da veste, da vas je slišala. Če odgovor traja dlje kot 10 sekund, vam pove, da še dela na njem.

Je Cue odprtokoden?

Uteži, različica Core ML za enoto Neural Engine in referenčna koda so na Hugging Face z licenco Apache 2.0, isto kot pri modelu Qwen3, na katerem temelji. Tam so objavljeni tudi učni podatki, z licenco CC BY 4.0.