Como interromper um assistente de voz com IA no iPhone e o que acontece a seguir

Desde a versão 2.4, o Orvena ouve enquanto fala. Pode cortar uma resposta, mudar de ideias a meio ou dizer "hum-hum" sem o fazer parar, e um pequeno modelo no Neural Engine do iPhone percebe qual destas coisas queria. Eis o que faz em cada caso, as respostas curtas que dá sem o modelo de linguagem e com que frequência acerta.

O que acontece quando interrompe o Orvena

Durante uma sessão de voz, o microfone fica aberto enquanto o Orvena pensa e fala. O cancelamento de eco do iPhone retira a voz do Orvena daquilo que o microfone capta, por isso só o ouve a si. Assim que o reconhecedor de fala da Apple deteta palavras, o Orvena baixa a voz para cerca de um terço do volume, e o Cue, o seu modelo de turnos, lê o que disse juntamente com a frase que o Orvena estava a dizer. Há três resultados possíveis:

Num pedido, o Cue também marca a palavra onde o pedido começa, por isso "ok, percebi, agora vê Lisboa" chega ao modelo como "agora vê Lisboa". Quando tem dúvidas, fica com uma palavra a mais: um "ok" extra não custa nada ao modelo, mas perder "Lisboa" custaria.

Uma ordem clara para parar tem efeito enquanto ainda está a falar, assim que o Cue tem pelo menos 90% de certeza. Tudo o resto espera por uma pausa: 0,7 segundos sem palavras novas, ou 0,4 segundos quando o reconhecedor já marcou a sua frase como terminada. Um "hã?", uma palavra dita a outra pessoa na sala ou a televisão ligada ao fundo devem deixá-lo continuar, para que a resposta não seja cortada sempre que alguém fala.

O mesmo acontece enquanto o Orvena ainda está a preparar uma resposta. Se acrescentar "afinal, põe às 7h30" antes de ele começar a falar, deixa de trabalhar no primeiro pedido e responde ao novo.

Respostas que dispensam o modelo de linguagem

Algumas coisas que diz numa sessão de voz não precisam de modelo de linguagem nenhum. Quando começa um novo turno, o Cue verifica primeiro se é uma das nove frases curtas que o Orvena consegue tratar sozinho e, se for, o Orvena responde de imediato com uma de poucas frases fixas:

O Cue lê o fim do que o Orvena disse por último, por isso as mesmas palavras podem significar coisas diferentes. Depois de "Quer que o adicione ao calendário?", um "ok" ou um "obrigado" é a sua resposta à pergunta, e vai para o modelo. Tudo o que contenha um pedido também vai para o modelo: "obrigado, agora junta leite à lista de compras" é um pedido, não um agradecimento. O Cue só responde sozinho quando tem pelo menos 90% de certeza, e 97% numa despedida, porque esta termina a sessão.

Quando um pedido vai mesmo para o modelo e nada foi dito durante 0,8 segundos, o Orvena diz algo curto como "Certo, deixa eu ver." Se a resposta ainda não estiver pronta ao fim de 10 segundos, diz "Ainda estou vendo." Nenhuma das duas é dita depois de a resposta ter começado.

Onde a decisão é tomada

O Cue é um modelo pequeno do próprio Orvena, com 376 milhões de parâmetros, treinado exatamente para estas duas decisões. Funciona no Neural Engine do iPhone: num iPhone 17 Pro Max, uma decisão demorou cerca de 8 milissegundos com o telemóvel em repouso e cerca de 10 enquanto a GPU estava ocupada a gerar. Isso deixa a GPU para o modelo de linguagem que escreve as respostas, o que importa sobretudo quando esse modelo é o do próprio Orvena, a gerar no mesmo telemóvel.

O Cue só lê texto: a transcrição do reconhecedor no dispositivo da Apple e as palavras que o Orvena estava a dizer. Nada do que diz respeito a uma interrupção sai do telemóvel. São 385 MB, descarregados com as vozes depois de desbloquear a voz, e a primeira sessão de voz prepara-o uma vez para o Neural Engine, com a mesma barra de progresso das vozes. Se não tiver sido possível descarregá-lo, por exemplo por estar offline, a voz arranca na mesma e avisa: "Interromper está desativado por enquanto. O Orvena vai terminar de configurar isso na próxima vez que você iniciar a voz."

O modelo e o código de referência estão no Hugging Face com a licença Apache 2.0.

Com que frequência acerta

Em conjuntos de teste escritos à parte dos dados de treino, nos seus 30 idiomas, o Cue decidiu bem em 90,4% de 900 interrupções e em 95,2% de 1 800 turnos novos. Só usa o atalho quando está seguro: de 990 pedidos destinados ao modelo de linguagem, 1 recebeu uma resposta curta em vez disso.

Convém saber

• Idiomas. O Cue conhece 30 idiomas. A voz ouve nos idiomas que o reconhecedor no dispositivo da Apple suporta, e as respostas curtas funcionam em todos eles exceto norueguês.
• Altifalante ou auscultadores. Com AirPods ou outros auscultadores, o Orvena ouve o tempo todo. No altifalante do próprio iPhone depende do cancelamento de eco e, sem ele, o Orvena só ouve entre respostas.

Perguntas frequentes

Com que modelos funciona a interrupção?

O modelo do próprio Orvena, a Apple Intelligence, o Private Cloud Compute e os modelos na nuvem que adicione com a sua própria chave. O Cue funciona no telemóvel seja qual for o modelo que escreve a resposta. Numa sessão de voz ao vivo com a sua própria chave OpenAI, é o modelo em tempo real da OpenAI que trata das interrupções.

Funciona offline?

Sim, desde que o Cue e as vozes estejam no telemóvel e a resposta venha do modelo do Orvena ou da Apple Intelligence. O reconhecimento, a decisão e a voz funcionam todos no iPhone.

O Orvena guarda o que digo enquanto está a falar?

Transcreve-o com o reconhecedor no dispositivo da Apple, tal como faz quando o ouve na sua vez, e o Cue lê essa transcrição no telemóvel. As palavras que considera que não eram para ele são descartadas e não passam a fazer parte da conversa.

Porque é que o Orvena diz "deixa eu ver" antes de responder?

Quando um pedido vai para o modelo de linguagem e nada foi dito durante 0,8 segundos, o Orvena diz uma frase curta para que saiba que o ouviu. Se a resposta demorar mais de 10 segundos, diz-lhe que ainda está a trabalhar nela.

O Cue é open source?

Os pesos, uma versão Core ML para o Neural Engine e o código de referência estão no Hugging Face com licença Apache 2.0, a mesma do modelo Qwen3 em que se baseia. Os dados de treino também estão publicados lá, com licença CC BY 4.0.