Seadmesisene häälassistent iPhone'ile: kuidas see töötab ja mida oodata
Seadmesisene häälassistent koosneb kolmest programmist, mis töötavad kordamööda: üks kuulab sind, teine otsustab, mida öelda ja teha, ja kolmas räägib. Enamik assistente käitab keskmist, sageli ka kahte ülejäänut, serveris. Orvena käitab vaikimisi kõiki kolme iPhone'is. Siin on kirjas, mida see tähendab, kuidas seda seadistada ja kus on piirid.
Mida seadmesisene häälassistent telefonis käitab
Kuulmine. Orvena kasutab Apple'i seadmesisest kõnetuvastust iOS 26 raamistikust Speech. Kui räägid mingit keelt esimest korda, laadib iOS alla selle keele tuvastusmudeli, seega kestab lühike paus "Valmistun…" enne rääkimist sel korral kauem.
Otsustamine. Sama mudel, mis vastab tippimisel: Orvena 4B, Orvena enda mudel, 3,1 GB suurune allalaadimine, mis töötab telefoni GPU-l, või iOS 27-s Apple Intelligence, mis on iOS-i sisse ehitatud. Mudel saab rääkimise ajal kasutada telefoni tööriistu: tõsta koosolekut, seada äratust, kontrollida ilma, leida fotot.
Rääkimine. Kaks neuraalset kõnesünteesimootorit loovad hääle telefonis. Üks toetab inglise, hispaania, prantsuse, itaalia ja portugali keelt ning on umbes 345 MB suurune allalaadimine; teine toetab veel 26 keelt ja võtab 400 MB. Mõlemast on ka iPhone'i Neural Engine'i jaoks tehtud versioon, esimesest 634 MB ja teisest 129 MB, nii et kõne ei pea keelemudeliga GPU pärast võistlema. Kõik need laaditakse alla pärast hääle avamist, allalaadimine lõpeb taustal ja esimene häälseanss valmistab need ühe korra ette.
Vestluse jälgimine. Orvena enda väike mudel Cue otsustab, mida sa mõtled, kui sa Orvena jutu ajal räägid, ja vastab lühikestele repliikidele, nagu "kas sa kuuled mind?", ilma keelemudelita. Selle allalaadimine on 385 MB ja see teeb iga otsuse Neural Engine'il umbes 10 millisekundiga.
Kumbagi seadmesisest mudelit kasutades ei lähe sellest ahelast midagi võrku. Ausaim test on lennukirežiim: lülita see sisse, alusta häälseanssi, küsi, mis on homme sinu kalendris, ja kuula vastust.
Vestluse alustamine
- Rakenduses. Puuduta küsimisribal helilaine nuppu. Avaneb täisekraani häälvaade ja klaviatuurinupp viib sind igal hetkel tagasi tippimise juurde, ilma et vestlus kaoks.
- Action Buttonist. Ava Seaded, vali Action Button, libista valikuni Shortcut ja vali "Räägi Orvenaga". Vajuta ja räägi. Sama toiming "Räägi Orvenaga" töötab ka rakendusest Shortcuts ja Siriga.
- Dynamic Islandist. Seansi ajal näitab Live Activity, kas Orvena kuulab, töötab või ootab kinnitust, ning nupp Stop lõpetab kuulamise ka siis, kui oled rakendusest lahkunud.
Kuidas üks voor käib
Orvena kuulab ja näitab rääkimise ajal transkriptsiooni. Orvena loeb sinu vooru lõppenuks pärast 1,5 sekundit vaikust või 0,6 sekundit, kui tuvastaja on sinu lause juba lõplikuks märkinud; just see teeb vestluse kiireks, ilma et sind poole mõtte pealt katkestataks. Seejärel Orvena mõtleb, kasutab vajaduse korral tööriista ja näitab tulemust kaardina ning räägib vastuse. Kui vastus lõpeb, hakkab Orvena uuesti kuulama, nii et vestlus jätkub käsi kasutamata. Seanss lõpeb, kui puudutad nuppu Lõpeta või kui 90 sekundi jooksul midagi ei öelda.
Orvena kuulab edasi ka siis, kui ta mõtleb ja räägib, ning iPhone'i kajasummutus hoiab tema enda hääle mikrofonist eemal. Kui sa rääkima hakkad, muutub tema hääl vaiksemaks, kuni Cue otsustab, mida sa mõtlesid: "mhmh" laseb tal jätkata, "oota" või "stopp" lõpetab vastuse ja uus küsimus peatab ta ning saab sinu järgmiseks vooruks. Artikkel Orvenale vahele rääkimine selgitab, mida mingi fraas tähendab ja milliseid vastuseid Orvena annab ilma keelemudelita.
Mis töötab võrguühenduseta
Kõik ülaltoodu ja iga tööriist, mis elab telefonis: kalender, meeldetuletused, äratused ja taimerid, fotod, Apple Healthi kokkuvõtted, kontaktid, failid, muusika. Ühendust vajab see, mis vajab välismaailma: veebiotsing, veebilehe lugemine, ilm, kohtade otsing ja reisiajad, ühendatud teenused nagu Notion või GitHub, Private Cloud Compute ja iga pilvemudel, mille lisad oma võtmega. Igaüks neist on koos tingimusega, mille korral see võrku jõuab, kirjas avalehe pearaamatus.
Piirangud
Orvenal pole oma äratussõna. iOS reserveerib pideva kuulamise Sirile, seega tuleb kolmanda osapoole assistent avada või käivitada: Action Button alustab häälseanssi ja kui ütled Sirile "Küsi Orvena käest", annab Siri sellele üle ühe küsimuse. Mudel on väiksem kui pilveassistentide taga olevad mudelid ning pika uurimistöö või kitsa eriala puhul sa seda märkad; selle jaoks, mida inimesed telefonilt valjusti küsivad (ajakava, ilm, meeldetuletus, foto, reisiaega arvestav äratus), on see õige suurusega. Hääl vajab iPhone 15 Pro või uuemat mudelit 8 GB mäluga, sest seda vajab keelemudel. Ja see, milliseid keeli Orvena kuulata oskab, sõltub Apple'i seadmesisesest tuvastajast, mis ei toeta veel bulgaaria, eesti, läti, leedu ega sloveeni keelt: kui sa trükid, loeb ja kirjutab Orvena neid keeli, kuid neis keeltes räägitut ta kuulata ei saa. Keelevalik pakub ainult keeli, mida Orvena suudab nii kuulda kui ka rääkida.
Valikuline pilvehääl
Kui sul on OpenAI võti, saad käitada reaalajas häälseanssi hoopis OpenAI reaalajamudelil. Vestlus on sellega kiirem, kuid vastutasuks voogedastatakse sinu heli OpenAI-le. Orvena küsib enne seansi algust nõusolekut, küsib uuesti, kui vestluses on juba tervise- või finantsandmeid, ja märgistab häälekuva merevaigukollase sildiga "pilv", mitte rohelise sildiga "selles iPhone'is", nii et tead alati, millises režiimis oled.
Korduma kippuvad küsimused
Kas Orvena hääl vajab internetiühendust?
Ei, kui häälepaketid on juba telefonis, koos Orvena enda mudeliga, kui kasutad seda Apple Intelligence'i asemel, ja iOS on sinu keele tuvastaja alla laadinud esimesel korral, kui seda keelt räägid. Tuvastus, vastus ja kõne töötavad kõik telefonis, kui sa pole valinud Private Cloud Compute'i või pilvemudelit. Võrku kasutavad ainult päringud, mis vajavad välismaailma, näiteks veebiotsing või ilm, ja ainult siis, kui sa küsid.
Millistes keeltes saan temaga rääkida?
26 keeles tema 31 keelest ja lisaks norra keeles. Apple'i seadmesisene kõnetuvastus ei toeta veel bulgaaria, eesti, läti, leedu ega sloveeni keelt, nii et kui sa kirjutad, saab Orvena neist keeltest aru ja kirjutab neis, kuid neis kuulata ta ei saa. Häälejuhendid käsitlevad iga keelt eraldi.
Kas ma saan Orvenale vahele rääkida, kui ta räägib?
Jah. Hakka rääkima ja tema hääl muutub vaiksemaks, kuni ta otsustab, mida sa mõtlesid. Pärast "mhmh" jätkab ta, sõnade "oota" või "stopp" peale lõpetab ja uuele küsimusele vastab kohe. Kui selle taga olevaid mudeleid pole veel õnnestunud alla laadida, töötab hääl ikkagi ja näitab teadet "Vahele rääkimine on praegu välja lülitatud. Orvena seab selle valmis, kui järgmine kord häälega alustad."
Kas saan kasutada AirPodse või Bluetooth-peakomplekti?
Jah. Häälseansid lubavad nii Bluetoothi vabakäe- kui ka stereoprofiili, muul juhul kasutatakse sisseehitatud kõlarit.
Kas hääl on tasuta?
Tippimine on tasuta ja piiranguteta. Häälvestlused sisalduvad Premium Unlockis, mis on ühekordne ost hinnaga 14,99 $ ilma tellimuseta.
Miks pole äratussõna?
iOS lubab taustal kuulata ainult Siril. Võid öelda Sirile "Küsi Orvena käest", mille peale Siri küsib, mida soovid küsida, või alustada häälseanssi Action Buttonist, rakendusest Shortcuts või rakenduse helilaine nupust.
Orvena on App Store'is tasuta iPhone 15 Pro ja uuemate mudelite jaoks. Häälvestlused sisalduvad ühekordses Premium Unlockis.
Laadi alla App Store'ist