Näin keskeytät tekoälyn ääniavustajan iPhonessa, ja mitä sen jälkeen tapahtuu

Versiosta 2.4 alkaen Orvena kuuntelee myös puhuessaan. Voit katkaista vastauksen, muuttaa mieltäsi kesken kaiken tai sanoa "mm" pysäyttämättä sitä, ja iPhonen Neural Enginessä toimiva pieni malli päättelee, mitä niistä tarkoitit. Tässä kerrotaan, mitä Orvena tekee kussakin tapauksessa, mitkä lyhyet vastaukset se antaa ilman kielimallia ja kuinka hyvin se onnistuu.

Mitä tapahtuu, kun puhut Orvenan päälle

Äänikeskustelun aikana mikrofoni on auki myös silloin, kun Orvena miettii ja puhuu. iPhonen kaiunpoisto poistaa Orvenan oman äänen siitä, mitä mikrofoni kuulee, joten se poimii vain sinun puheesi. Heti kun Applen puheentunnistin tunnistaa sanoja, Orvena hiljentää äänensä noin kolmannekseen ja Cue, sen vuoronvaihtomalli, lukee sanomasi rinnakkain sen lauseen kanssa, jota Orvena oli sanomassa. Lopputuloksia on kolme:

Pyynnön kohdalla Cue merkitsee myös sanan, josta pyyntö alkaa, joten "okei selvä, entä nyt Lissabon" päätyy mallille muodossa "entä nyt Lissabon". Kun Cue on epävarma, se jättää mieluummin yhden sanan liikaa: ylimääräinen "okei" ei maksa mallille mitään, mutta "Lissabonin" menettäminen maksaisi.

Selvä pysäytys tulee voimaan jo puhuessasi, heti kun Cue on vähintään 90-prosenttisen varma. Kaikki muu odottaa taukoa: 0,7 sekuntia ilman uusia sanoja tai 0,4 sekuntia, kun tunnistin on merkinnyt lauseesi valmiiksi. "Häh", sana jollekulle toiselle huoneessa tai taustalla puhuva televisio pitäisi tulkita jatkamiseksi, jotta vastaus ei katkea aina, kun joku puhuu.

Sama toimii, kun Orvena vielä valmistelee vastausta. Jos lisäät "eiku laita 7:30" ennen kuin se alkaa puhua, se lopettaa ensimmäisen pyynnön käsittelyn ja vastaa uuteen.

Vastaukset, jotka ohittavat kielimallin

Osa siitä, mitä äänikeskustelussa sanot, ei tarvitse kielimallia lainkaan. Kun uusi vuoro alkaa, Cue tarkistaa ensin, onko kyse jostakin yhdeksästä lyhyestä fraasista, jotka Orvena osaa hoitaa itse, ja jos on, Orvena vastaa heti jollakin muutamasta valmiista repliikistä:

Cue lukee lopun siitä, mitä Orvena viimeksi sanoi, joten samat sanat voivat tarkoittaa eri asioita. Kun Orvena on kysynyt "Lisäänkö sen kalenteriisi?", "okei" tai "kiitos" on vastauksesi kysymykseen, ja se menee mallille. Kaikki, missä on pyyntö, menee myös mallille: "kiitos, lisää nyt maito ostoslistalle" on pyyntö eikä kiitos. Cue vastaa itse vain, kun se on vähintään 90-prosenttisen varma, ja hyvästien kohdalla 97-prosenttisen, koska ne päättävät istunnon.

Kun pyyntö menee mallille eikä mitään ole sanottu 0,8 sekuntiin, Orvena sanoo jotain lyhyttä, kuten "Selvä, katsotaan." Jos vastaus ei ole valmis vielä 10 sekunnin jälkeen, se sanoo "Työstän sitä vielä." Kumpaakaan ei kuulu enää, kun vastaus on alkanut.

Missä päätös tehdään

Cue on Orvenan oma pieni malli, jossa on 376 miljoonaa parametria ja joka on koulutettu juuri näihin kahteen päätökseen. Se toimii iPhonen Neural Enginessä, jossa yksi päätös kesti noin 8 millisekuntia, kun puhelin ei tehnyt muuta, ja noin 10, kun grafiikkasuoritin oli kiireinen tekstin tuottamisessa, mitattuna iPhone 17 Pro Maxilla. Grafiikkasuoritin jää siis kielimallille, joka kirjoittaa vastaukset, ja tämä on tärkeintä silloin, kun malli on Orvenan oma ja tuottaa tekstiä samalla puhelimella.

Cue lukee vain tekstiä: Applen laitteella toimivan puheentunnistimen litteroinnin ja sanat, joita Orvena oli sanomassa. Mikään keskeytykseen liittyvä ei lähde puhelimesta. Se on 385 MB:n lataus, joka haetaan äänten kanssa, kun avaat äänen käyttöösi, ja ensimmäinen äänikeskustelu valmistelee sen kerran Neural Enginelle yhdessä äänten kanssa, samalla edistymispalkilla. Jos sitä ei voitu ladata esimerkiksi siksi, että olit ilman verkkoyhteyttä, ääni käynnistyy silti ja kertoo: "Keskeyttäminen on toistaiseksi pois päältä. Orvena viimeistelee sen, kun käynnistät äänen seuraavan kerran."

Malli ja viitekoodi ovat Hugging Facessa Apache 2.0 -lisenssillä.

Kuinka usein se osuu oikeaan

Testiaineistoissa, jotka kirjoitettiin erillään sen koulutusdatasta, Cue teki kaikilla 30 kielellään oikean ratkaisun 90,4 prosentissa 900 keskeytyksestä ja 95,2 prosentissa 1 800 uudesta vuorosta. Se käyttää oikotietä vain, kun se on varma: 990 kielimallille tarkoitetusta pyynnöstä 1 sai sen sijaan lyhyen vastauksen.

Hyvä tietää

• Kielet. Cue osaa 30 kieltä. Ääni kuuntelee kielillä, joita Applen laitteella toimiva puheentunnistin tukee, ja lyhyet vastaukset toimivat niillä kaikilla norjaa lukuun ottamatta.
• Kaiutin vai kuulokkeet. AirPodeilla tai muilla kuulokkeilla Orvena kuuntelee koko ajan. iPhonen omaa kaiutinta käytettäessä se luottaa kaiunpoistoon, ja ilman sitä Orvena kuuntelee sen sijaan vastausten välillä.

Usein kysyttyä

Minkä mallien kanssa keskeyttäminen toimii?

Orvenan oman mallin, Apple Intelligencen, Private Cloud Computen ja omalla avaimellasi lisäämiesi pilvimallien kanssa. Cue toimii puhelimessa riippumatta siitä, mikä malli kirjoittaa vastauksen. Live-ääni-istunnossa omalla OpenAI-avaimellasi OpenAI:n reaaliaikainen malli hoitaa keskeytykset itse.

Toimiiko se ilman verkkoa?

Kyllä, kun Cue ja äänet ovat puhelimessa ja vastaus tulee Orvenan mallilta tai Apple Intelligencelta. Tunnistus, päätös ja ääni toimivat kaikki iPhonessa.

Säilyttääkö Orvena sen, mitä sanon sen puhuessa?

Se litteroi puheesi Applen laitteella toimivalla puheentunnistimella, kuten silloinkin, kun se odottaa vuoroasi, ja Cue lukee litteroinnin puhelimessa. Sanat, joita se ei arvioi itselleen tarkoitetuiksi, hylätään, eivätkä ne tule osaksi keskustelua.

Miksi Orvena sanoo "katsotaan" ennen vastaamista?

Kun pyyntö menee kielimallille eikä mitään ole sanottu 0,8 sekuntiin, Orvena sanoo lyhyen repliikin, jotta tiedät sen kuulleen sinut. Jos vastaus vie yli 10 sekuntia, se kertoo, että työ on vielä kesken.

Onko Cue avointa lähdekoodia?

Painot, Neural Enginelle tehty Core ML -versio ja viitekoodi ovat Hugging Facessa Apache 2.0 -lisenssillä, samalla lisenssillä kuin Qwen3-malli, jonka pohjalta se on rakennettu. Koulutusdata on julkaistu sielläkin, CC BY 4.0 -lisenssillä.