iPhoneのオンデバイス音声アシスタント:仕組みと、知っておきたいこと
オンデバイス音声アシスタントは、順番に働く3つのプログラムでできています。あなたの声を聞き取るもの、何を話し何をするかを判断するもの、そして話すものです。ほとんどのアシスタントは真ん中のプログラムを、そして多くの場合ほかの2つもサーバー上で動かします。Orvenaはデフォルトで、3つすべてをiPhone上で動かします。この記事では、それが何を意味するのか、どう設定するのか、そしてどこに限界があるのかを説明します。
オンデバイス音声アシスタントがスマートフォン上で動かすもの
聞き取り。Orvenaは、iOS 26のSpeechフレームワークにあるAppleのオンデバイス音声認識を使います。ある言語で初めて話すとき、iOSがその言語の認識モデルをダウンロードするので、話し始める前の「準備しています…」という短い待ち時間が、その回だけ長くなります。
判断。入力したときに答えるのと同じモデルです。ダウンロードサイズが3.1 GBでスマートフォンのGPUで動くOrvena独自のモデルOrvena 4Bか、iOS 27ならiOSに組み込まれているApple Intelligenceです。話している間もスマートフォンのツールを使えます。会議を動かす、アラームを設定する、天気を確認する、写真を探す、といったことです。
発話。2つのニューラル音声エンジンが、スマートフォン上で声を生成します。1つは英語、スペイン語、フランス語、イタリア語、ポルトガル語に対応し、ダウンロードは約345 MBです。もう1つはさらに26の言語に対応し、400 MBです。それぞれにiPhoneのNeural Engine向けに作られた版もあり、サイズは1つ目が634 MB、2つ目が129 MBです。これにより、音声合成が言語モデルとGPUを取り合うことはありません。これらはすべて音声機能を解除したあとに取得が始まってバックグラウンドで完了し、最初の音声セッションで一度だけ準備されます。
会話の把握。Orvena独自の小さなモデルであるCueが、Orvenaが話している最中にあなたが話しかけたとき、何を意図しているのかを見極めます。また、「聞こえる?」のような短い言葉には、言語モデルを使わずに答えます。ダウンロードサイズは385 MBで、Neural Engine上で1回の判断を約10ミリ秒で行います。
どちらのオンデバイスモデルでも、この流れの中でネットワークを通るものは何もありません。確かめるには機内モードが確実です。機内モードをオンにして音声セッションを始め、明日のカレンダーの予定を尋ねて、答えを聞いてみてください。
会話を始める
- アプリ内から。入力バーの波形ボタンをタップします。全画面の音声ビューが開き、キーボードボタンでいつでも会話を失わずに入力に戻れます。
- アクションボタンから。「設定」を開き、「アクションボタン」を選択して「ショートカット」までスワイプし、「Orvena と話す」を選びます。あとは押して話すだけです。同じ「Orvena と話す」アクションは、ショートカットやSiriからも使えます。
- Dynamic Islandから。セッション中は、ライブアクティビティが聞き取り中、処理中、承認待ちの状態を表示します。停止ボタンを押せば、アプリを離れていても聞き取りを終えられます。
1回のやり取りの流れ
Orvenaは聞き取りながら、話している内容を文字起こしで表示します。1.5秒の無音があると、あるいは認識エンジンがすでに文を確定させている場合は0.6秒で、あなたの番が終わったとみなします。これによって、考えている途中で話を遮ることなく、テンポのよいやり取りになります。そのあと考え、リクエストに必要ならツールを使って結果をカードで表示し、答えを話します。答え終わると再び聞き取りを始めるので、手を使わずに会話を続けられます。セッションは「終了」をタップするか、90秒間何も話さないと終わります。
Orvenaは考えている間も話している間も聞き続けており、iPhoneのエコーキャンセレーションによって、自分の声がマイクに入らないようになっています。あなたが話し始めると、Cueがその意図を判断する間、Orvenaの声は小さくなります。「うん」なら話を続け、「待って」や「ストップ」なら答えをやめ、新しい質問なら話を止めて、その質問があなたの次の番になります。どの言葉がどれに当たるのか、そして言語モデルを使わずに返す返事については、Orvenaの話に割り込むで解説しています。
オフラインで動くもの
ここまでのすべてと、スマートフォン上にあるすべてのツールです。カレンダー、リマインダー、アラームとタイマー、写真、ヘルスケアの要約、連絡先、ファイル、ミュージックがそれに当たります。接続が必要なのは、外の世界が必要なものです。ウェブ検索、ウェブページの読み取り、天気、場所の検索と移動時間、NotionやGitHubなどの接続したサービス、Private Cloud Compute、そして自分のキーで追加したクラウドモデルです。それぞれがどんな条件でネットワークに接続するかは、ホームページの台帳に一覧になっています。
制限
Orvena独自のウェイクワードはありません。iOSは常時の聞き取りをSiriのために確保しているので、サードパーティのアシスタントは開くか、何らかの操作で起動する必要があります。アクションボタンで音声セッションが始まり、Siriに「Orvena に聞いて」と話せば質問を1つ渡せます。モデルはクラウドのアシスタントを支えるものより小さく、長い調べ物や専門的な分野では違いがわかります。一方で、予定、天気、リマインダー、写真、移動時間を踏まえたアラームなど、スマートフォンに声で尋ねるような用件にはちょうどいい大きさです。音声には8 GBのメモリを備えたiPhone 15 Pro以降が必要です。言語モデルがそれを必要とするためです。また、Orvenaがどの言語を聞き取れるかはAppleのオンデバイス音声認識によって決まります。この音声認識はブルガリア語、エストニア語、ラトビア語、リトアニア語、スロベニア語にまだ対応していないため、Orvenaはこれらの言語を文字で入力すれば読み書きできますが、聞き取ることはできません。言語の選択肢には、聞き取りと発話の両方ができる言語だけが表示されます。
オプションのクラウド音声
OpenAIのキーがあれば、代わりにOpenAIのリアルタイムモデルでライブ音声セッションを使えます。やり取りのテンポはより速くなりますが、その代わりに音声はOpenAIにストリーミングされます。Orvenaはセッションを始める前に同意を求め、会話にすでに健康や金融のデータが含まれている場合はもう一度確認します。音声画面には、緑の「この iPhone 上」ではなく琥珀色の「クラウド」というラベルが表示されるので、どちらのモードにいるのかいつでもわかります。
よくある質問
Orvenaの音声にはインターネット接続が必要ですか?
いいえ。音声パックがスマートフォンに入っていて(Apple IntelligenceではなくOrvena独自のモデルを使う場合はそのモデルも)、その言語で初めて話したときにiOSが認識モデルを取得していれば、接続は不要です。Private Cloud Computeやクラウドモデルを選んでいない限り、認識、回答、音声合成はすべてスマートフォン上で動きます。ネットワークを使うのは、ウェブ検索や天気のように外の世界が必要なリクエストだけで、それもあなたが頼んだときだけです。
どの言語で話しかけられますか?
31言語のうち26言語と、ノルウェー語です。Appleのオンデバイス音声認識はまだブルガリア語、エストニア語、ラトビア語、リトアニア語、スロベニア語に対応していないため、これらの言語は入力すればOrvenaが理解して書けますが、聞き取ることはできません。各言語については音声ガイドで解説しています。
Orvenaが話している途中で割り込めますか?
はい。話し始めると、Orvenaがあなたの意図を判断する間、声が小さくなります。「うん」なら話を続け、「待って」や「ストップ」で止まり、新しい質問にはすぐに答えます。これを支えるモデルをまだダウンロードできていない場合も音声は使え、「現在は話を遮ることができません。次に音声を開始したときに、Orvena が設定を完了します。」と表示されます。
AirPodsやBluetoothヘッドセットは使えますか?
はい。音声セッションはBluetoothのハンズフリーとステレオのどちらのプロファイルにも対応しており、それ以外の場合は内蔵スピーカーを使います。
音声は無料ですか?
入力による会話は制限なく無料です。音声会話はPremium Unlockに含まれます。Premium Unlockは14.99ドルの一度きりの購入で、サブスクリプションはありません。
なぜウェイクワードがないのですか?
iOSでバックグラウンドの聞き取りが許されているのはSiriだけです。Siriに「Orvena に聞いて」と話せばSiriが何を聞きたいか尋ねてくれますし、アクションボタン、ショートカット、アプリ内の波形ボタンから音声セッションを始めることもできます。
OrvenaはiPhone 15 Pro以降向けにApp Storeで無料で提供されています。音声会話は一度きりの購入であるPremium Unlockに含まれます。
App Storeでダウンロード