Как перебить голосового ИИ-ассистента на iPhone и что происходит дальше

С версии 2.4 Orvena слушает, пока говорит. Можно оборвать ответ, передумать на полпути или сказать "угу", не останавливая её, а небольшая модель на Neural Engine iPhone понимает, что из этого вы имели в виду. Ниже о том, что она делает в каждом случае, о коротких ответах, которые она даёт без языковой модели, и о том, насколько хорошо это работает.

Что происходит, когда вы перебиваете Orvena

Во время голосового сеанса микрофон остаётся включённым, пока Orvena думает и говорит. Эхоподавление iPhone убирает собственный голос Orvena из того, что слышит микрофон, поэтому он улавливает только вас. Как только распознаватель речи Apple выдаёт слова, Orvena приглушает голос примерно до трети громкости, а Cue, её модель смены реплик, читает сказанное вами вместе с фразой, которую Orvena как раз произносила. Возможны три исхода:

Для запроса Cue ещё и отмечает слово, с которого он начинается, так что "ок, понял, теперь проверь Лиссабон" доходит до модели как "теперь проверь Лиссабон". Если Cue не уверена, она оставляет лишнее слово: лишнее "ок" модели ничего не стоит, а потерянный "Лиссабон" стоил бы.

Явная остановка срабатывает, пока вы ещё говорите, как только уверенность Cue достигает хотя бы 90%. Всё остальное ждёт паузы: 0,7 секунды без новых слов или 0,4 секунды, если распознаватель уже пометил вашу фразу как завершённую. "Хм", слова, обращённые к кому-то в комнате, или телевизор на фоне должны считаться продолжением, чтобы ответ не обрывался всякий раз, когда кто-то заговорит.

То же самое работает, пока Orvena ещё готовит ответ. Если до того, как она заговорит, вы добавите "хотя нет, давай на 7:30", она бросит работу над первым запросом и ответит на новый.

Ответы без языковой модели

Кое-что из сказанного в голосовом сеансе вовсе не требует языковой модели. Когда начинается новая реплика, Cue сначала проверяет, не одна ли это из девяти коротких фраз, с которыми Orvena справляется сама, и если да, Orvena сразу отвечает одной из нескольких готовых реплик:

Cue читает конец последней реплики Orvena, поэтому одни и те же слова могут значить разное. После вопроса "Добавить это в ваш календарь?" "ладно" или "спасибо" будет вашим ответом на вопрос, и он уйдёт модели. Всё, в чём есть просьба, тоже уходит модели: "спасибо, а теперь добавь молоко в список покупок" считается запросом, а не благодарностью. Cue отвечает сама, только если уверена хотя бы на 90%, а для прощания на 97%, потому что прощание завершает сеанс.

Если запрос всё-таки уходит модели и 0,8 секунды стоит тишина, Orvena произносит что-нибудь короткое, например "Хорошо, сейчас посмотрю." Если ответ не готов и через 10 секунд, она говорит "Ещё работаю над этим." Ни одна из этих фраз не звучит, если ответ уже начался.

Где принимается решение

Cue представляет собой небольшую собственную модель Orvena на 376 миллионов параметров, обученную ровно для этих двух решений. Она работает на Neural Engine iPhone, где одно решение заняло около 8 миллисекунд, когда телефон простаивал, и около 10, пока GPU был занят генерацией; измерено на iPhone 17 Pro Max. Так GPU остаётся языковой модели, которая пишет ответы, и это важнее всего, когда ответы пишет собственная модель Orvena, работающая на том же телефоне.

Cue читает только текст: расшифровку от распознавателя Apple на устройстве и слова, которые произносила Orvena. Ничто, связанное с перебиванием, не покидает телефон. Модель весит 385 MB и скачивается вместе с голосами после того, как вы разблокируете голос, а при первом голосовом сеансе модель один раз подготавливается для Neural Engine под тем же индикатором прогресса, что и голоса. Если скачать её не удалось, например потому что вы были офлайн, голос всё равно запускается и сообщает: "Перебивание пока отключено. Orvena завершит настройку при следующем запуске голосового режима."

Модель и эталонный код опубликованы на Hugging Face под лицензией Apache 2.0.

Насколько точно это работает

На тестовых наборах, составленных отдельно от обучающих данных, на всех 30 своих языках Cue приняла верное решение в 90,4% из 900 перебиваний и в 95,2% из 1 800 новых реплик. Короткий путь она выбирает, только когда уверена: из 990 запросов, предназначенных языковой модели, лишь 1 получил вместо этого короткий ответ.

Полезно знать

• Языки. Cue знает 30 языков. В голосовом режиме Orvena слушает на тех языках, которые поддерживает распознаватель Apple на устройстве, и короткие ответы работают на всех них, кроме норвежского.
• Динамик или наушники. С AirPods или другими наушниками Orvena слушает всё время. На встроенном динамике iPhone она полагается на эхоподавление, а без него слушает только между ответами.

Частые вопросы

С какими моделями работает перебивание?

С собственной моделью Orvena, Apple Intelligence, Private Cloud Compute и облачными моделями, которые вы добавляете с собственным ключом. Cue работает на телефоне, какая бы модель ни писала ответ. В живом голосовом сеансе с вашим собственным ключом OpenAI перебивания обрабатывает сама realtime-модель OpenAI.

Работает ли это офлайн?

Да, если Cue и голоса уже на телефоне, а ответ даёт модель Orvena или Apple Intelligence. Распознавание, решение и голос работают на iPhone.

Сохраняет ли Orvena то, что я говорю, пока она говорит?

Она расшифровывает это распознавателем Apple на устройстве, так же, как когда ждёт вашей реплики, а Cue читает эту расшифровку на телефоне. Слова, которые, по её решению, были обращены не к ней, отбрасываются и не становятся частью беседы.

Почему Orvena говорит "сейчас посмотрю" перед ответом?

Когда запрос уходит языковой модели и 0,8 секунды стоит тишина, Orvena произносит короткую фразу, чтобы вы знали, что она вас услышала. Если ответ занимает больше 10 секунд, она сообщает, что ещё работает.

Открыт ли исходный код Cue?

Веса, версия Core ML для Neural Engine и эталонный код опубликованы на Hugging Face под лицензией Apache 2.0, той же, что и у модели Qwen3, на которой построена Cue. Обучающие данные тоже опубликованы там, под лицензией CC BY 4.0.