Kuidas iPhone'is AI-häälassistenti katkestada ja mis siis edasi saab

Alates versioonist 2.4 kuulab Orvena ka rääkimise ajal. Võid vastuse katkestada, poole pealt meelt muuta või öelda "mhmh" ilma teda peatamata, ja väike mudel iPhone'i Neural Engine'il otsustab, millist neist sa silmas pidasid. Siin on kirjas, mida Orvena igal juhul teeb, millised lühikesed vastused ta annab ilma keelemudelita ja kui hästi see õnnestub.

Mis juhtub, kui räägid Orvenale vahele

Häälseansi ajal on mikrofon avatud ka siis, kui Orvena mõtleb ja räägib. iPhone'i kajasummutus eemaldab Orvena enda hääle sellest, mida mikrofon kuuleb, nii et see püüab kinni ainult sinu kõne. Niipea kui Apple'i kõnetuvastus sõnu edastab, vähendab Orvena oma hääle valjust umbes kolmandikuni ja Cue, tema kõnevoorude mudel, loeb sinu öeldut koos lausega, mille keskel Orvena parasjagu oli. Võimalikke tulemusi on kolm:

Päringu puhul märgib Cue ka sõna, kust päring algab, nii et "okei, selge, nüüd vaata Lissaboni" jõuab mudelini kujul "nüüd vaata Lissaboni". Kui Cue pole kindel, jätab ta pigem ühe sõna liiga palju: üks liigne "okei" ei maksa mudelile midagi, aga "Lissaboni" kaotamine maksaks.

Selge peatumiskäsk jõustub juba siis, kui sa veel räägid, niipea kui Cue on vähemalt 90% kindel. Kõik muu ootab pausi: 0,7 sekundit ilma uute sõnadeta või 0,4 sekundit, kui tuvastaja on sinu lause lõplikuks märkinud. "Ah?", sõna kellelegi teisele toas või taustal mängiv teler tuleks lugeda jätkamiseks, et vastus ei katkeks iga kord, kui keegi midagi ütleb.

Sama töötab ka siis, kui Orvena alles valmistab vastust ette. Kui lisad "ei, pane hoopis 7:30" enne, kui ta rääkima hakkab, lõpetab ta esimese päringu kallal töötamise ja vastab uuele.

Vastused, mis jätavad keelemudeli vahele

Mõni asi, mida häälseansil ütled, ei vaja üldse keelemudelit. Kui algab uus voor, kontrollib Cue kõigepealt, kas tegemist on ühega üheksast lühikesest fraasist, millega Orvena ise hakkama saab, ja kui on, vastab Orvena kohe ühega mõnest kindlast repliigist:

Cue loeb Orvena viimase repliigi lõppu, nii et samad sõnad võivad tähendada eri asju. Pärast küsimust "Kas lisan selle sinu kalendrisse?" on "okei" või "aitäh" sinu vastus küsimusele ja see läheb mudelile. Mudelile läheb ka kõik, milles on päring: "aitäh, nüüd lisa piim ostunimekirja" on päring, mitte tänamine. Cue vastab ise ainult siis, kui ta on vähemalt 90% kindel, ja hüvastijätu puhul 97% kindel, sest see lõpetab seansi.

Kui päring läheb mudelile ja 0,8 sekundit pole midagi öeldud, ütleb Orvena midagi lühikest, näiteks "Olgu, ma vaatan." Kui vastus pole ka 10 sekundi pärast valmis, ütleb ta "Kontrollin veel." Kumbagi ei kõla, kui vastus on juba alanud.

Kus otsus tehakse

Cue on Orvena enda väike mudel, millel on 376 miljonit parameetrit ja mis on treenitud just nende kahe otsuse jaoks. See töötab iPhone'i Neural Engine'il, kus üks otsus võttis muidu jõude olevas telefonis umbes 8 millisekundit ja umbes 10 siis, kui GPU oli teksti genereerimisega hõivatud, mõõdetuna iPhone 17 Pro Maxil. Nii jääb GPU keelemudelile, mis vastuseid kirjutab, ja see on kõige olulisem siis, kui see mudel on Orvena enda oma, mis genereerib samas telefonis.

Cue loeb ainult teksti: Apple'i seadmesisese kõnetuvastuse transkriptsiooni ja sõnu, mida Orvena parasjagu ütles. Midagi vahelerääkimisega seotut ei lahku telefonist. See on 385 MB suurune allalaadimine, mis tuuakse koos häältega pärast hääle avamist, ja esimene häälseanss valmistab selle ühe korra Neural Engine'i jaoks ette koos häältega, sama edenemisnäidikuga. Kui allalaadimine ei õnnestunud, näiteks seetõttu, et olid võrguühenduseta, käivitub hääl ikkagi ja annab teada: "Vahele rääkimine on praegu välja lülitatud. Orvena seab selle valmis, kui järgmine kord häälega alustad."

Mudel ja näidiskood on saadaval Hugging Face'is Apache 2.0 litsentsi all.

Kui tihti ta õigesti otsustab

Testikogumitel, mis kirjutati treeningandmetest eraldi, tegi Cue kõigis oma 30 keeles õige otsuse 90,4% juhtudest 900 vahelerääkimise puhul ja 95,2% juhtudest 1 800 uue vooru puhul. Otseteed kasutab ta ainult siis, kui on kindel: 990 keelemudelile mõeldud päringust sai 1 hoopis lühikese vastuse.

Hea teada

• Keeled. Cue oskab 30 keelt. Hääl kuulab keeltes, mida Apple'i seadmesisene kõnetuvastus toetab, ja lühikesed vastused töötavad neist kõigis peale norra keele.
• Kõlar või kõrvaklapid. AirPodside või muude kõrvaklappidega kuulab Orvena kogu aeg. iPhone'i enda kõlariga toetub ta kajasummutusele ja ilma selleta kuulab Orvena hoopis vastuste vahel.

Korduma kippuvad küsimused

Milliste mudelitega vahele rääkimine töötab?

Orvena enda mudeli, Apple Intelligence'i, Private Cloud Compute'i ja pilvemudelitega, mille lisad oma võtmega. Cue töötab telefonis olenemata sellest, milline mudel vastuse kirjutab. Reaalajas häälseansil sinu enda OpenAI võtmega tegeleb vahelerääkimistega OpenAI reaalajamudel ise.

Kas see töötab võrguühenduseta?

Jah, kui Cue ja hääled on telefonis ning vastus tuleb Orvena mudelilt või Apple Intelligence'ilt. Tuvastus, otsus ja hääl töötavad kõik iPhone'is.

Kas Orvena jätab alles, mida ma tema rääkimise ajal ütlen?

Ta transkribeerib selle Apple'i seadmesisese kõnetuvastusega, nagu ka siis, kui ta sinu vooru ootab, ja Cue loeb seda transkriptsiooni telefonis. Sõnad, mis tema hinnangul polnud talle mõeldud, jäetakse kõrvale ega saa vestluse osaks.

Miks ütleb Orvena enne vastamist "ma vaatan"?

Kui päring läheb keelemudelile ja 0,8 sekundit pole midagi öeldud, ütleb Orvena lühikese lause, et sa teaksid, et ta sind kuulis. Kui vastus võtab üle 10 sekundi, annab ta teada, et töötab veel.

Kas Cue on avatud lähtekoodiga?

Kaalud, Neural Engine'i jaoks mõeldud Core ML versioon ja näidiskood on Hugging Face'is Apache 2.0 litsentsi all, sama litsentsiga nagu Qwen3 mudel, millele see tugineb. Treeningandmed on samuti seal avaldatud, litsentsiga CC BY 4.0.