Kaip pertraukti DI balso asistentą iPhone telefone ir kas nutinka toliau

Nuo 2.4 versijos Orvena klausosi ir kalbėdama. Galite nutraukti atsakymą, persigalvoti jo viduryje arba pasakyti "aha" jos nesustabdydami, o nedidelis modelis, veikiantis iPhone Neural Engine, nustato, kurį iš šių variantų turėjote omenyje. Štai ką ji daro kiekvienu atveju, kokius trumpus atsakymus pateikia be kalbos modelio ir kaip gerai jai sekasi.

Kas nutinka, kai įsiterpiate, kol Orvena kalba

Balso sesijos metu mikrofonas lieka įjungtas ir tada, kai Orvena mąsto bei kalba. iPhone aido slopinimas pašalina Orvena balsą iš to, ką girdi mikrofonas, todėl jis girdi tik jus. Vos tik Apple kalbos atpažinimas praneša apie pirmus žodžius, Orvena patildo balsą maždaug iki trečdalio garsumo, o Cue, jos kalbėjimo eilės modelis, perskaito, ką pasakėte, kartu su sakiniu, kurį Orvena tuo metu tarė. Galimos trys baigtys:

Užklausos atveju Cue taip pat pažymi žodį, nuo kurio užklausa prasideda, todėl "gerai, supratau, dabar patikrink Lisaboną" modelį pasiekia kaip "dabar patikrink Lisaboną". Kai nėra tikras, palieka vienu žodžiu per daug: papildomas "gerai" modeliui nieko nekainuoja, o prarasta "Lisabona" kainuotų.

Aiškus sustabdymas įsigalioja dar jums kalbant, kai tik Cue yra bent 90 % tikras. Visa kita laukia pauzės: 0,7 sekundės be naujų žodžių arba 0,4 sekundės, kai atpažinimo sistema jau pažymėjo jūsų sakinį kaip baigtą. "Hm", žodis kam nors kitam kambaryje ar fone veikiantis televizorius turėtų būti laikomi tęsimu, kad atsakymas nebūtų nutraukiamas kaskart, kai kas nors prabyla.

Taip pat veikia ir tada, kai Orvena dar ruošia atsakymą. Jei prieš jai pradedant kalbėti pridursite "ne, geriau 7:30", ji nustos dirbti su pirmąja užklausa ir atsakys į naująją.

Atsakymai, kuriems nereikia kalbos modelio

Kai kuriems dalykams, kuriuos sakote balso sesijoje, kalbos modelio visai nereikia. Prasidėjus naujam pasisakymui, Cue pirmiausia patikrina, ar tai viena iš devynių trumpų frazių, su kuriomis Orvena gali susitvarkyti pati, ir jei taip, Orvena iškart atsako vienu iš kelių iš anksto nustatytų sakinių:

Cue perskaito, kuo baigėsi tai, ką Orvena pasakė paskutinį kartą, todėl tie patys žodžiai gali reikšti skirtingus dalykus. Po klausimo "Ar įtraukti tai į jūsų kalendorių?" žodžiai "gerai" ar "ačiū" yra jūsų atsakymas į klausimą, ir jie keliauja modeliui. Modeliui keliauja ir viskas, kur yra užklausa: "ačiū, o dabar įrašyk pieną į pirkinių sąrašą" yra užklausa, ne padėka. Cue pats atsako tik tada, kai yra bent 90 % tikras, o atsisveikinimo atveju 97 %, nes atsisveikinimas užbaigia sesiją.

Kai užklausa keliauja modeliui ir 0,8 sekundės niekas nieko nesako, Orvena pasako ką nors trumpo, pavyzdžiui, "Gerai, pažiūrėsiu." Jei atsakymas neparuoštas ir po 10 sekundžių, ji pasako "Dar tikrinu." Nė viena iš šių frazių neskamba, kai atsakymas jau prasidėjęs.

Kur priimamas sprendimas

Cue yra nedidelis nuosavas Orvena modelis su 376 milijonais parametrų, apmokytas būtent šiems dviem sprendimams. Jis veikia iPhone Neural Engine, kur vienas sprendimas užtruko maždaug 8 milisekundes, kai telefonas nebuvo apkrautas, ir maždaug 10, kai GPU generavo tekstą; matuota iPhone 17 Pro Max. Taip GPU lieka kalbos modeliui, kuris rašo atsakymus, o tai svarbiausia, kai atsakymus generuoja tame pačiame telefone veikiantis nuosavas Orvena modelis.

Cue skaito tik tekstą: Apple kalbos atpažinimo įrenginyje transkripciją ir žodžius, kuriuos tuo metu tarė Orvena. Niekas, kas susiję su pertraukimu, nepalieka telefono. Jis užima 385 MB ir atsisiunčiamas kartu su balsais, kai atrakinate balsą, o per pirmąją balso sesiją vieną kartą paruošiamas Neural Engine, rodant tą pačią eigos juostą kaip ir balsams. Jei jo nepavyko atsisiųsti, pavyzdžiui, todėl, kad buvote neprisijungę, balsas vis tiek paleidžiamas ir praneša: "Pertraukimas kol kas išjungtas. Orvena jį paruoš, kai kitą kartą pradėsite balso pokalbį."

Modelis ir pavyzdinis kodas paskelbti Hugging Face pagal Apache 2.0 licenciją.

Kaip dažnai jis neklysta

Testų rinkiniuose, parašytuose atskirai nuo mokymo duomenų, visomis savo 30 kalbomis Cue teisingai nusprendė 90,4 % iš 900 pertraukimų ir 95,2 % iš 1 800 naujų pasisakymų. Trumpąjį kelią jis renkasi tik būdamas tikras: iš 990 kalbos modeliui skirtų užklausų tik 1 vietoj to gavo trumpą atsakymą.

Verta žinoti

• Kalbos. Cue moka 30 kalbų. Balsas klausosi tomis kalbomis, kurias palaiko Apple kalbos atpažinimas įrenginyje, o trumpieji atsakymai veikia visomis jomis, išskyrus norvegų.
• Garsiakalbis ar ausinės. Su AirPods ar kitomis ausinėmis Orvena klausosi visą laiką. Per paties iPhone garsiakalbį ji pasikliauja aido slopinimu, o be jo klausosi tik tarp atsakymų.

Dažni klausimai

Su kokiais modeliais veikia pertraukimas?

Su nuosavu Orvena modeliu, Apple Intelligence, Private Cloud Compute ir debesies modeliais, kuriuos pridedate su savo raktu. Cue veikia telefone, nesvarbu, kuris modelis rašo atsakymą. Tiesioginėje balso sesijoje su jūsų OpenAI raktu pertraukimus tvarko pats OpenAI realaus laiko modelis.

Ar tai veikia be interneto?

Taip, kai Cue ir balsai jau yra telefone, o atsakymą pateikia Orvena modelis ar Apple Intelligence. Atpažinimas, sprendimas ir balsas veikia iPhone.

Ar Orvena išsaugo, ką sakau, kol ji kalba?

Ji tai paverčia tekstu Apple kalbos atpažinimu įrenginyje, kaip ir laukdama jūsų eilės, o Cue tą transkripciją perskaito telefone. Žodžius, kurie, jos sprendimu, buvo skirti ne jai, ji atmeta, ir jie netampa pokalbio dalimi.

Kodėl Orvena prieš atsakydama sako "pažiūrėsiu"?

Kai užklausa keliauja kalbos modeliui ir 0,8 sekundės niekas nieko nesako, Orvena ištaria trumpą frazę, kad žinotumėte, jog ji jus išgirdo. Jei atsakymas užtrunka ilgiau nei 10 sekundžių, ji praneša, kad dar dirba.

Ar Cue yra atvirojo kodo?

Svoriai, Core ML versija, skirta Neural Engine, ir pavyzdinis kodas paskelbti Hugging Face pagal Apache 2.0 licenciją, tą pačią kaip ir Qwen3 modelio, kuriuo jis paremtas. Mokymo duomenys ten taip pat paskelbti, pagal CC BY 4.0 licenciją.