Как да прекъснете AI гласов асистент на iPhone и какво следва

От версия 2.4 Orvena слуша, докато говори. Можете да прекъснете отговора, да промените решението си по средата му или да кажете "аха", без да я спирате, а малък модел на Neural Engine на iPhone преценява кое от тези неща имате предвид. Ето какво прави тя при всяко от тях, кратките отговори, които дава без езиковия модел, и колко добре се справя.

Какво става, когато заговорите, докато Orvena говори

По време на гласова сесия микрофонът остава отворен, докато Orvena мисли и говори. Потискането на ехото в iPhone премахва собствения глас на Orvena от това, което чува микрофонът, така че той улавя само вас. Щом разпознаването на реч на Apple отчете думи, Orvena намалява гласа си до около една трета от силата му, а Cue, моделът ѝ за редуване на репликите, чете казаното от вас заедно с изречението, което Orvena изговаря в този момент. Възможни са три изхода:

При заявка Cue отбелязва и думата, от която тя започва, така че "добре, ясно, сега провери Лисабон" стига до модела като "сега провери Лисабон". Когато не е сигурен, оставя една дума повече: едно излишно "добре" не струва нищо на модела, а изгубеното "Лисабон" би му струвало.

Ясното спиране се задейства, докато още говорите, щом Cue е сигурен поне на 90%. Всичко останало изчаква пауза: 0,7 секунди без нови думи или 0,4 секунди, след като разпознаването е отбелязало изречението ви като завършено. Едно "хм", дума към някого в стаята или телевизорът на заден план трябва да се броят за "продължи", за да не се прекъсва отговорът всеки път, когато някой заговори.

Същото работи и докато Orvena още подготвя отговора. Ако добавите "всъщност, по-добре в 7:30", преди да е започнала да говори, тя спира работата по първата заявка и отговаря на новата.

Отговори, които минават без езиковия модел

Някои неща, които казвате в гласова сесия, изобщо не се нуждаят от езиков модел. Когато започва нова реплика, Cue първо проверява дали тя е една от девет кратки фрази, с които Orvena се справя сама, и ако е така, Orvena отговаря веднага с една от няколко готови реплики:

Cue чете края на последната реплика на Orvena, така че едни и същи думи могат да значат различни неща. След "Да го добавя ли в календара ви?" едно "добре" или "благодаря" е вашият отговор на въпроса и отива към модела. Всичко, в което има заявка, също отива към модела: "благодаря, сега добави мляко в списъка за пазаруване" е заявка, а не благодарност. Cue отговаря сам само когато е сигурен поне на 90%, а при сбогуване на 97%, защото сбогуването прекратява сесията.

Когато заявката все пак отиде към модела и 0,8 секунди нищо не е казано, Orvena казва нещо кратко, например "Добре, ще проверя." Ако отговорът още не е готов след 10 секунди, казва "Още работя по въпроса." Нито една от двете фрази не се казва, ако отговорът вече е започнал.

Къде се взема решението

Cue е малък собствен модел на Orvena с 376 милиона параметъра, обучен точно за тези две решения. Работи на Neural Engine на iPhone, където едно решение отне около 8 милисекунди при неактивен телефон и около 10, докато графичният процесор беше зает с генериране (измерено на iPhone 17 Pro Max). Така графичният процесор остава за езиковия модел, който пише отговорите, а това е най-важно, когато отговорите пише собственият модел на Orvena на същия телефон.

Cue чете само текст: транскрипцията от разпознаването на Apple на устройството и думите, които Orvena е изговаряла. Нищо, свързано с прекъсването, не напуска телефона. Изтеглянето му е 385 MB и става заедно с гласовете, след като отключите гласа, а първата гласова сесия еднократно го подготвя за Neural Engine под същия индикатор за напредък като гласовете. Ако не е успял да се изтегли, например защото сте били офлайн, гласът пак стартира и ви казва: "Прекъсването засега е изключено. Orvena ще довърши настройката следващия път, когато започнете гласов разговор."

Моделът и референтният код са публикувани в Hugging Face под лиценза Apache 2.0.

Колко често решава правилно

На тестови набори, написани отделно от данните за обучение, на всичките си 30 езика Cue е взел правилното решение при 90,4% от 900 прекъсвания и при 95,2% от 1 800 нови реплики. До прекия път прибягва само когато е сигурен: от 990 заявки, предназначени за езиковия модел, само 1 е получила вместо това кратък отговор.

Добре е да знаете

• Езици. Cue разбира 30 езика. В гласова сесия Orvena слуша на езиците, които поддържа разпознаването на реч на Apple на устройството, а кратките отговори работят на всички тях освен на норвежки.
• Високоговорител или слушалки. С AirPods или други слушалки Orvena слуша през цялото време. На вградения високоговорител на iPhone тя разчита на потискането на ехото, а без него слуша само между отговорите.

Често задавани въпроси

С кои модели работи прекъсването?

Със собствения модел на Orvena, Apple Intelligence, Private Cloud Compute и облачните модели, които добавите със собствен ключ. Cue работи на телефона, който и модел да пише отговора. В гласова сесия на живо със собствен ключ за OpenAI моделът за реално време на OpenAI сам обработва прекъсванията.

Работи ли офлайн?

Да, след като Cue и гласовете са на телефона и отговорът идва от модела на Orvena или от Apple Intelligence. Разпознаването, решението и гласът работят на iPhone.

Запазва ли Orvena това, което казвам, докато тя говори?

Тя го превръща в текст с разпознаването на Apple на устройството, както когато чака вашата реплика, а Cue чете тази транскрипция на телефона. Думите, за които прецени, че не са били насочени към нея, се изхвърлят и не стават част от разговора.

Защо Orvena казва "ще проверя", преди да отговори?

Когато заявката отиде към езиковия модел и 0,8 секунди нищо не е казано, Orvena казва кратка фраза, за да знаете, че ви е чула. Ако отговорът отнеме повече от 10 секунди, тя ви казва, че още работи.

Cue с отворен код ли е?

Тежестите, версия в Core ML за Neural Engine и референтният код са в Hugging Face под Apache 2.0, същия лиценз като на модела Qwen3, върху който е изграден Cue. Там са публикувани и данните за обучение, под CC BY 4.0.