iPhoneでAI音声アシスタントに割り込む方法と、そのあとに起きること

バージョン2.4から、Orvenaは話している間も聞いています。答えを途中で打ち切っても、途中で気が変わっても、話を止めずに「うん」と相づちを打ってもかまいません。iPhoneのNeural Engine上で動く小さなモデルが、そのどれなのかを判断します。この記事では、それぞれの場合にOrvenaが何をするか、言語モデルを使わずに返す短い返事、そしてどれくらい正確に判断できるかを紹介します。

Orvenaの話に割り込むと起きること

音声セッション中、マイクはOrvenaが考えている間も話している間も開いたままです。iPhoneのエコーキャンセレーションがマイクの音からOrvena自身の声を取り除くので、拾われるのはあなたの声だけです。Appleの音声認識が言葉をとらえるとすぐに、Orvenaは声の音量を約3分の1まで下げ、やり取りの順番を判断するモデルであるCueが、あなたの言葉を、Orvenaが話している途中だった文と照らし合わせて読みます。結果は3通りです。

リクエストの場合、Cueはリクエストが始まる語にも印を付けます。そのため「うん、わかった。じゃあリスボンを調べて」は、「じゃあリスボンを調べて」としてモデルに届きます。判断に迷うときは、言葉を少し多めに残します。余分な「うん」があってもモデルは困りませんが、「リスボン」が抜けてしまうと困るからです。

はっきり止めてほしいとわかる言葉は、Cueの確信度が90%以上になった時点で、あなたがまだ話している間でも反映されます。それ以外は、間ができるのを待ちます。新しい言葉が0.7秒出てこないとき、または認識エンジンがすでに文を確定させていれば0.4秒です。「へえ」という声や、部屋にいるほかの人へのひと言、後ろで流れているテレビの音は「続ける」と判断されるべきものです。そうでないと、誰かが話すたびに答えが途切れてしまいます。

Orvenaがまだ答えを準備している間も、同じように働きます。Orvenaが話し始める前に「やっぱり7:30にして」と付け加えれば、最初のリクエストの処理をやめて、新しいほうに答えます。

言語モデルを通さない返事

音声セッションで話す言葉の中には、言語モデルをまったく必要としないものもあります。あなたが新たに話しかけると、Cueはまず、それがOrvenaだけで対応できる9つの短いフレーズのどれかに当たるかを確かめます。当たれば、Orvenaは決まった数通りの返事のひとつで、すぐに答えます。

CueはOrvenaが最後に話した言葉の終わりの部分を読むので、同じ言葉でも意味が変わることがあります。「カレンダーに追加しましょうか？」のあとの「うん」や「ありがとう」はその質問への答えなので、モデルに送られます。リクエストを含む言葉もモデルに送られます。「ありがとう、じゃあ買い物リストに牛乳を追加して」はお礼ではなく、リクエストです。Cueが自分だけで答えるのは90%以上の確信があるときだけで、別れのあいさつの場合は97%以上です。セッションを終わらせてしまうからです。

リクエストがモデルに送られ、0.8秒間沈黙が続くと、Orvenaは「はい、確認しますね。」のような短いひと言を言います。10秒たっても答えの準備ができていなければ、「まだ確認中です。」と言います。どちらも、答えが始まってからは流れません。

判断が行われる場所

CueはOrvena独自の小さなモデルで、パラメータ数は3億7600万（376M）、まさにこの2つの判断のために学習されています。iPhoneのNeural Engine上で動き、iPhone 17 Pro Maxで測定したところ、1回の判断にかかる時間は、スマートフォンがアイドル状態のときで約8ミリ秒、GPUが生成で忙しいときで約10ミリ秒でした。これにより、GPUは答えを書く言語モデルに任せられます。これが最も効いてくるのは、そのモデルが同じスマートフォン上で生成しているOrvena独自のモデルの場合です。

Cueが読むのはテキストだけです。Appleのオンデバイス音声認識による文字起こしと、Orvenaが話していた言葉です。割り込みに関することは何ひとつスマートフォンの外に出ません。ダウンロードサイズは385 MBで、音声機能を解除したあとに声と一緒に取得され、最初の音声セッションで、声と同じ進行表示のもと、Neural Engine向けに一度だけ準備されます。オフラインだったなどの理由でダウンロードできなかった場合も音声は始まり、「現在は話を遮ることができません。次に音声を開始したときに、Orvena が設定を完了します。」と知らせます。

モデルと参照コードは、Apache 2.0ライセンスのもとHugging Faceで公開されています。

どれくらい正しく判断できるか

学習データとは別に作成したテストセットで、30の言語すべてにおいて、Cueは900件の割り込みのうち90.4%、1,800件の新しい発話のうち95.2%で正しく判断しました。近道を使うのは確信があるときだけです。言語モデル向けの990件のリクエストのうち、代わりに短い返事が返ったのは1件でした。

知っておきたいこと

• 言語。Cueは30の言語に対応しています。音声はAppleのオンデバイス音声認識が対応している言語で聞き取り、短い返事はそのうちノルウェー語を除くすべての言語で使えます。
• スピーカーかヘッドホンか。AirPodsなどのヘッドホンでは、Orvenaはずっと聞き続けます。iPhone本体のスピーカーではエコーキャンセレーションに頼り、それが使えない場合は、代わりに答えと答えの合間に聞き取ります。

よくある質問

どのモデルで割り込みが使えますか？

Orvena独自のモデル、Apple Intelligence、Private Cloud Compute、そして自分のキーで追加したクラウドモデルです。どのモデルが答えを書く場合でも、Cueはスマートフォン上で動きます。自分のOpenAIキーを使うライブ音声セッションでは、OpenAIのリアルタイムモデルが割り込みを自ら処理します。

オフラインでも使えますか？

はい。Cueと声がスマートフォンに入っていて、答えをOrvenaのモデルかApple Intelligenceが作る場合は使えます。音声認識、判断、声はすべてiPhone上で動きます。

Orvenaが話している間に私が言ったことは、保存されますか？

あなたの番を聞き取るときと同じように、Appleのオンデバイス音声認識で文字に起こし、Cueがその文字起こしをスマートフォン上で読みます。自分に向けられたものではないと判断した言葉は破棄され、会話の一部にはなりません。

なぜOrvenaは答える前に「確認しますね」と言うのですか？

リクエストが言語モデルに送られ、0.8秒間沈黙が続くと、Orvenaは聞こえたことが伝わるように短いひと言を言います。答えに10秒を超えてかかる場合は、まだ処理中であることを伝えます。

Cueはオープンソースですか？

重み、Neural Engine向けのCore ML版、参照コードがHugging Faceで公開されています。ライセンスは、ベースになっているQwen3モデルと同じApache 2.0です。学習データも同じ場所でCC BY 4.0のもと公開しています。