Kā pārtraukt AI balss asistentu iPhone tālrunī un kas notiek pēc tam

Kopš versijas 2.4 Orvena klausās arī tad, kad runā. Varat pārtraukt atbildi, pusceļā pārdomāt vai pateikt "mhm", to neapturot, un neliels modelis, kas darbojas iPhone Neural Engine, noskaidro, kuru no tiem jūs domājāt. Lūk, ko tas dara katrā gadījumā, kādas īsas atbildes sniedz bez valodas modeļa un cik labi tam veicas.

Kas notiek, kad ierunājaties, kamēr Orvena runā

Balss sesijas laikā mikrofons paliek ieslēgts, kamēr Orvena domā un runā. iPhone atbalss slāpēšana izņem paša Orvena balsi no tā, ko dzird mikrofons, tāpēc tas uztver tikai jūs. Tiklīdz Apple runas atpazīšana uztver vārdus, Orvena samazina savas balss skaļumu līdz aptuveni trešdaļai, un Cue, tā sarunas kārtu modelis, lasa jūsu teikto kopā ar teikumu, ko Orvena tobrīd runāja. Iespējami trīs iznākumi:

Ja tas ir pieprasījums, Cue arī atzīmē vārdu, ar kuru tas sākas, tāpēc "labi, skaidrs, tagad pārbaudi Lisabonu" nonāk līdz modelim kā "tagad pārbaudi Lisabonu". Ja Cue nav pārliecināts, tas atstāj vienu vārdu par daudz: lieks "labi" modelim neko nemaksā, bet pazaudēta "Lisabona" maksātu.

Skaidra apturēšana stājas spēkā, kamēr jūs vēl runājat, tiklīdz Cue ir vismaz 90% pārliecināts. Viss pārējais gaida pauzi: 0,7 sekundes bez jauniem vārdiem vai 0,4 sekundes, ja runas atpazīšana jau ir atzīmējusi jūsu teikumu kā pabeigtu. "Hmm", vārdi kādam citam istabā vai televizors fonā jāuzskata par turpināšanu, lai atbilde netiktu pārtraukta katru reizi, kad kāds ierunājas.

Tas pats darbojas arī tad, kad Orvena vēl gatavo atbildi. Ja vēl pirms atbildes sākuma piebilstat "nē, labāk 7:30", Orvena pārtrauc darbu pie pirmā pieprasījuma un atbild uz jauno.

Atbildes, kas iztiek bez valodas modeļa

Dažām lietām, ko sakāt balss sesijā, valodas modelis nemaz nav vajadzīgs. Kad sākas jauna kārta, Cue vispirms pārbauda, vai tā nav viena no deviņām īsām frāzēm, ar kurām Orvena tiek galā pats, un, ja tā ir, Orvena uzreiz atbild ar vienu no dažām iepriekš sagatavotām atbildēm:

Cue lasa Orvena pēdējās replikas beigas, tāpēc tie paši vārdi var nozīmēt dažādas lietas. Pēc jautājuma "Vai pievienot to jūsu kalendāram?" "labi" vai "paldies" ir jūsu atbilde uz jautājumu, un tā nonāk pie modeļa. Pie modeļa nonāk arī viss, kurā ir pieprasījums: "paldies, tagad pievieno pienu iepirkumu sarakstam" ir pieprasījums, nevis pateicība. Cue atbild pats tikai tad, ja ir vismaz 90% pārliecināts, bet atvadu gadījumā 97%, jo atvadas beidz sesiju.

Ja pieprasījums tomēr nonāk pie modeļa un 0,8 sekundes nekas nav teikts, Orvena pasaka kaut ko īsu, piemēram, "Labi, es paskatīšos." Ja pēc 10 sekundēm atbilde joprojām nav gatava, tas saka "Vēl pārbaudu." Neviena no šīm frāzēm neskan, kad atbilde jau ir sākusies.

Kur tiek pieņemts lēmums

Cue ir neliels paša Orvena modelis ar 376 miljoniem parametru, kas apmācīts tieši šiem diviem lēmumiem. Tas darbojas iPhone Neural Engine, kur viens lēmums aizņēma aptuveni 8 milisekundes, kad tālrunis bija dīkstāvē, un aptuveni 10, kamēr GPU bija aizņemts ar ģenerēšanu; mērījumi veikti ar iPhone 17 Pro Max. Tādējādi GPU paliek valodas modelim, kas raksta atbildes, un tas ir vissvarīgāk tad, kad atbildes tajā pašā tālrunī ģenerē paša Orvena modelis.

Cue lasa tikai tekstu: transkripciju no Apple runas atpazīšanas ierīcē un vārdus, ko Orvena runāja. Nekas, kas saistīts ar pārtraukšanu, neatstāj tālruni. Tā lejupielāde ir 385 MB; to lejupielādē kopā ar balsīm pēc balss atbloķēšanas, un pirmā balss sesija to vienreiz sagatavo darbam ar Neural Engine, rādot to pašu progresu kā balsīm. Ja to nebija iespējams lejupielādēt, piemēram, tāpēc, ka bijāt bezsaistē, balss tik un tā sākas un paziņo: "Pārtraukšana pagaidām ir izslēgta. Orvena to pabeigs iestatīt, kad nākamreiz sāksiet balss sarunu."

Modelis un atsauces kods ir publicēti vietnē Hugging Face ar Apache 2.0 licenci.

Cik bieži tas izlemj pareizi

Testu kopās, kas sastādītas atsevišķi no apmācības datiem, visās 30 savās valodās Cue pieņēma pareizo lēmumu 90,4% no 900 pārtraukumiem un 95,2% no 1 800 jaunām kārtām. Īso ceļu tas izvēlas tikai tad, kad ir pārliecināts: no 990 pieprasījumiem, kas bija paredzēti valodas modelim, tikai 1 tā vietā saņēma īsu atbildi.

Der zināt

• Valodas. Cue zina 30 valodas. Balss sesijā Orvena klausās valodās, kuras atbalsta Apple runas atpazīšana ierīcē, un īsās atbildes darbojas tajās visās, izņemot norvēģu.
• Skaļrunis vai austiņas. Ar AirPods vai citām austiņām Orvena klausās visu laiku. Ar paša iPhone skaļruni tas paļaujas uz atbalss slāpēšanu, un bez tās klausās tikai starp atbildēm.

Biežāk uzdotie jautājumi

Ar kuriem modeļiem darbojas pārtraukšana?

Ar paša Orvena modeli, Apple Intelligence, Private Cloud Compute un mākoņa modeļiem, ko pievienojat ar savu atslēgu. Cue darbojas tālrunī neatkarīgi no tā, kurš modelis raksta atbildi. Tiešās balss sesijā ar jūsu OpenAI atslēgu pārtraukumus apstrādā pats OpenAI reāllaika modelis.

Vai tas darbojas bezsaistē?

Jā, kad Cue un balsis ir tālrunī un atbilde nāk no Orvena modeļa vai Apple Intelligence. Atpazīšana, lēmums un balss darbojas iPhone.

Vai Orvena saglabā to, ko saku, kamēr tas runā?

Tas to pārvērš tekstā ar Apple runas atpazīšanu ierīcē, tāpat kā tad, kad gaida jūsu kārtu, un Cue šo transkripciju lasa tālrunī. Vārdi, par kuriem tas nolemj, ka tie nebija domāti tam, tiek atmesti un nekļūst par sarunas daļu.

Kāpēc Orvena pirms atbildes saka "es paskatīšos"?

Kad pieprasījums nonāk pie valodas modeļa un 0,8 sekundes nekas nav teikts, Orvena pasaka īsu frāzi, lai jūs zinātu, ka tas jūs sadzirdēja. Ja atbilde aizņem vairāk nekā 10 sekundes, tas pasaka, ka vēl strādā.

Vai Cue ir atvērtā koda?

Svari, Core ML versija darbam ar Neural Engine un atsauces kods ir publicēti vietnē Hugging Face ar Apache 2.0 licenci, tādu pašu kā Qwen3 modelim, uz kura Cue veidots. Apmācības dati arī ir publicēti tur, ar CC BY 4.0 licenci.