Як перебити голосового ШІ-асистента на iPhone і що відбувається далі

Починаючи з версії 2.4, Orvena слухає, поки говорить. Ви можете обірвати відповідь, передумати на півдорозі або сказати "угу", не зупиняючи її, а невелика модель на Neural Engine iPhone визначає, що саме ви мали на увазі. Нижче про те, що вона робить у кожному випадку, про короткі відповіді, які вона дає без мовної моделі, і про те, наскільки добре це працює.

Що відбувається, коли ви перебиваєте Orvena

Під час голосового сеансу мікрофон залишається ввімкненим, поки Orvena думає й говорить. Ехоподавлення iPhone прибирає власний голос Orvena з того, що чує мікрофон, тож він уловлює лише вас. Щойно розпізнавач мовлення Apple видає слова, Orvena стишує голос приблизно до третини гучності, а Cue, її модель черговості реплік, читає сказане вами разом із реченням, яке Orvena саме промовляла. Можливі три результати:

Для запиту Cue також позначає слово, з якого він починається, тож "ок, зрозумів, тепер перевір Лісабон" доходить до моделі як "тепер перевір Лісабон". Коли Cue сумнівається, вона залишає зайве слово: зайве "ок" моделі нічого не коштує, а втрачений "Лісабон" коштував би.

Явна зупинка спрацьовує, поки ви ще говорите, щойно Cue впевнена в ній щонайменше на 90%. Усе інше чекає на паузу: 0,7 секунди без нових слів або 0,4 секунди, якщо розпізнавач уже позначив ваше речення як завершене. "Гм", слова, звернені до когось у кімнаті, чи телевізор на тлі мають вважатися продовженням, щоб відповідь не обривалася щоразу, коли хтось заговорить.

Так само це працює, поки Orvena ще готує відповідь. Якщо до того, як вона заговорить, ви додасте "ні, краще на 7:30", вона покине роботу над першим запитом і відповість на новий.

Відповіді без мовної моделі

Дещо з того, що ви кажете в голосовому сеансі, взагалі не потребує мовної моделі. Коли починається нова репліка, Cue спершу перевіряє, чи це не одна з дев'яти коротких фраз, з якими Orvena впорається сама, і якщо так, Orvena одразу відповідає однією з кількох готових реплік:

Cue читає кінець останньої репліки Orvena, тож ті самі слова можуть означати різне. Після запитання "Додати це до вашого календаря?" "гаразд" чи "дякую" буде вашою відповіддю на запитання, і вона піде до моделі. Усе, що містить прохання, теж іде до моделі: "дякую, а тепер додай молоко до списку покупок" є запитом, а не подякою. Cue відповідає сама, лише коли впевнена щонайменше на 90%, а для прощання на 97%, бо прощання завершує сеанс.

Коли запит таки йде до мовної моделі і 0,8 секунди триває тиша, Orvena каже щось коротке, як-от "Добре, зараз подивлюся." Якщо відповідь не готова й через 10 секунд, вона каже "Ще працюю над цим." Жодна з цих фраз не звучить, якщо відповідь уже почалася.

Де ухвалюється рішення

Cue є невеликою власною моделлю Orvena на 376 мільйонів параметрів, навченою саме для цих двох рішень. Вона працює на Neural Engine iPhone, де одне рішення тривало близько 8 мілісекунд, коли телефон простоював, і близько 10, коли GPU був зайнятий генерацією; виміряно на iPhone 17 Pro Max. Так GPU лишається мовній моделі, яка пише відповіді, і це найважливіше тоді, коли відповіді пише власна модель Orvena, що працює на тому самому телефоні.

Cue читає лише текст: розшифровку від розпізнавача Apple на пристрої та слова, які промовляла Orvena. Ніщо, пов'язане з перериванням, не залишає телефон. Модель важить 385 MB і завантажується разом із голосами після того, як ви розблокуєте голос, а перший голосовий сеанс один раз готує модель для Neural Engine під тим самим індикатором прогресу, що й голоси. Якщо її не вдалося завантажити, наприклад, бо ви були без інтернету, голос усе одно запускається й повідомляє: "Переривання поки що вимкнено. Orvena завершить налаштування, коли ви наступного разу запустите голосовий режим."

Модель і еталонний код опубліковано на Hugging Face за ліцензією Apache 2.0.

Наскільки точно це працює

На тестових наборах, складених окремо від навчальних даних, усіма 30 своїми мовами Cue ухвалила правильне рішення у 90,4% із 900 переривань і в 95,2% із 1 800 нових реплік. Коротким шляхом вона йде лише тоді, коли впевнена: із 990 запитів, призначених мовній моделі, лише 1 отримав натомість коротку відповідь.

Варто знати

• Мови. Cue знає 30 мов. У голосовому режимі Orvena слухає тими мовами, які підтримує розпізнавач Apple на пристрої, а короткі відповіді працюють для всіх них, крім норвезької.
• Динамік чи навушники. З AirPods чи іншими навушниками Orvena слухає весь час. На вбудованому динаміку iPhone вона покладається на ехоподавлення, а без нього слухає лише між відповідями.

Поширені запитання

З якими моделями працює переривання?

З власною моделлю Orvena, Apple Intelligence, Private Cloud Compute і хмарними моделями, які ви додаєте з власним ключем. Cue працює на телефоні, хоч би яка модель писала відповідь. У живому голосовому сеансі з вашим власним ключем OpenAI переривання обробляє сама модель реального часу від OpenAI.

Чи працює це без інтернету?

Так, якщо Cue і голоси вже на телефоні, а відповідь дає модель Orvena чи Apple Intelligence. Розпізнавання, рішення і голос працюють на iPhone.

Чи зберігає Orvena те, що я кажу, поки вона говорить?

Вона розшифровує це розпізнавачем Apple на пристрої, так само як тоді, коли чекає на вашу репліку, а Cue читає цю розшифровку на телефоні. Слова, які, за її рішенням, були звернені не до неї, відкидаються й не стають частиною розмови.

Чому Orvena каже "зараз подивлюся" перед відповіддю?

Коли запит іде до мовної моделі і 0,8 секунди триває тиша, Orvena промовляє коротку фразу, щоб ви знали, що вона вас почула. Якщо відповідь забирає понад 10 секунд, вона повідомляє, що ще працює.

Чи має Cue відкритий код?

Ваги, версія Core ML для Neural Engine та еталонний код опубліковано на Hugging Face за ліцензією Apache 2.0, тією самою, що й у моделі Qwen3, на якій побудовано Cue. Там само опубліковано й навчальні дані, за ліцензією CC BY 4.0.