iPhone에서 AI 음성 비서의 말을 끊는 방법과 그다음에 일어나는 일

버전 2.4부터 Orvena는 말하는 동안에도 듣습니다. 답을 중간에 끊을 수도, 도중에 마음을 바꿀 수도, 말을 멈추게 하지 않고 "응" 하고 맞장구칠 수도 있으며, iPhone의 Neural Engine에서 실행되는 작은 모델이 그중 어떤 뜻인지 판단합니다. 이 글에서는 각 경우에 Orvena가 하는 일, 언어 모델 없이 하는 짧은 답, 그리고 얼마나 잘 판단하는지 설명합니다.

Orvena가 말할 때 끼어들면 일어나는 일

음성 세션 중에는 Orvena가 생각하고 말하는 동안에도 마이크가 켜져 있습니다. iPhone의 에코 제거 기능이 마이크에 들리는 소리에서 Orvena 자신의 목소리를 지우므로, 마이크에는 내 목소리만 잡힙니다. Apple의 음성 인식기가 단어를 인식하자마자 Orvena는 목소리를 원래 음량의 약 3분의 1로 낮추고, 턴 모델인 Cue가 내가 한 말을 Orvena가 말하던 문장과 함께 읽습니다. 결과는 세 가지입니다.

요청이라면 Cue는 요청이 시작되는 단어도 표시합니다. 그래서 "응 알았어, 이제 리스본 확인해 줘"는 "이제 리스본 확인해 줘"로 모델에 전달됩니다. 확신이 없을 때는 단어를 하나 더 남기는 쪽을 택합니다. "응"이 하나 더 붙어도 모델에는 아무 문제가 없지만, "리스본"이 빠지면 문제가 되기 때문입니다.

분명하게 멈추라는 말은 Cue가 90% 이상 확신하는 순간, 내가 아직 말하는 중에도 바로 적용됩니다. 나머지는 말이 멈추기를 기다립니다. 새 단어가 0.7초 동안 없거나, 인식기가 문장을 끝난 것으로 표시했다면 0.4초입니다. "오" 같은 소리, 방에 있는 다른 사람에게 하는 말, 뒤에서 들리는 TV 소리는 '계속'으로 판단되어야 하며, 그래야 누가 말할 때마다 답이 끊기지 않습니다.

Orvena가 아직 답을 준비하는 동안에도 똑같이 작동합니다. Orvena가 말을 시작하기 전에 "아니다, 7시 30분으로 바꿔 줘"라고 덧붙이면 첫 요청에 대한 작업을 멈추고 새 요청에 답합니다.

언어 모델을 거치지 않는 답

음성 세션에서 하는 말 중에는 언어 모델이 전혀 필요 없는 것도 있습니다. 새 턴이 시작되면 Cue는 먼저 그 말이 Orvena가 직접 처리할 수 있는 아홉 가지 짧은 말 중 하나인지 확인하고, 그렇다면 Orvena는 정해진 몇 가지 문장 중 하나로 바로 답합니다.

Cue는 Orvena가 마지막으로 한 말의 끝부분을 읽기 때문에, 같은 말도 다른 뜻이 될 수 있습니다. "캘린더에 추가할까요?" 뒤에 오는 "응"이나 "고마워"는 그 질문에 대한 대답이므로 모델로 갑니다. 요청이 담긴 말도 모델로 갑니다. "고마워, 이제 장보기 목록에 우유 추가해 줘"는 감사 인사가 아니라 요청입니다. Cue가 직접 답하는 것은 90% 이상 확신할 때뿐이며, 작별 인사는 세션을 끝내기 때문에 97% 이상이어야 합니다.

요청이 모델로 가고 0.8초 동안 아무 말이 없으면 Orvena는 "네, 확인해 볼게요." 같은 짧은 말을 합니다. 10초가 지나도 답이 준비되지 않으면 "아직 확인하고 있어요."라고 말합니다. 답이 시작된 뒤에는 둘 다 나오지 않습니다.

판단이 이루어지는 곳

Cue는 Orvena 자체의 작은 모델로, 파라미터가 3억 7,600만 개(376M)이며 정확히 이 두 가지 판단을 위해 학습되었습니다. iPhone의 Neural Engine에서 실행되며, iPhone 17 Pro Max에서 측정했을 때 판단 한 번에 휴대폰이 유휴 상태일 때는 약 8밀리초, GPU가 생성 작업으로 바쁠 때는 약 10밀리초가 걸렸습니다. 덕분에 GPU는 답을 쓰는 언어 모델이 온전히 쓸 수 있으며, 이는 그 모델이 같은 휴대폰에서 답을 생성하는 Orvena 자체 모델일 때 가장 중요합니다.

Cue는 텍스트만 읽습니다. Apple 온디바이스 인식기가 받아 적은 내용과 Orvena가 하던 말입니다. 끼어들기와 관련된 어떤 것도 휴대폰 밖으로 나가지 않습니다. 385 MB 다운로드이며, 음성을 잠금 해제한 뒤 음성 팩과 함께 내려받고, 첫 음성 세션에서 음성 팩과 같은 진행 표시 안에서 Neural Engine용으로 한 번 준비됩니다. 오프라인이었다는 등의 이유로 내려받지 못했다면 음성은 그대로 시작되고 "지금은 말을 끊을 수 없어요. 다음에 음성을 시작하면 Orvena가 설정을 마칠게요."라고 알려 줍니다.

모델과 참조 코드는 Hugging Face에 Apache 2.0 라이선스로 공개되어 있습니다.

얼마나 정확한가

학습 데이터와 별도로 작성한 테스트 세트에서, 30개 언어 전체에 걸쳐 Cue는 끼어들기 900건 중 90.4%, 새 턴 1,800건 중 95.2%에서 올바르게 판단했습니다. 지름길은 확신할 때만 택합니다. 언어 모델로 가야 할 요청 990건 중 대신 짧은 답을 받은 것은 1건이었습니다.

알아 두면 좋은 점

• 언어. Cue는 30개 언어를 이해합니다. 음성은 Apple 온디바이스 인식기가 지원하는 언어로 들으며, 짧은 답은 그중 노르웨이어를 제외한 모든 언어에서 작동합니다.
• 스피커 또는 헤드폰. AirPods나 다른 헤드폰을 쓰면 Orvena는 내내 듣습니다. iPhone 자체 스피커에서는 에코 제거에 의존하며, 에코 제거를 쓸 수 없으면 대신 답과 답 사이에 듣습니다.

자주 묻는 질문

어떤 모델에서 끼어들기가 되나요?

Orvena 자체 모델, Apple Intelligence, Private Cloud Compute, 그리고 본인의 키로 추가한 클라우드 모델입니다. 어떤 모델이 답을 쓰든 Cue는 휴대폰에서 실행됩니다. 본인의 OpenAI 키로 하는 라이브 음성 세션에서는 OpenAI의 실시간 모델이 끼어들기를 직접 처리합니다.

오프라인에서도 되나요?

네. Cue와 음성 팩이 휴대폰에 있고, 답을 Orvena의 모델이나 Apple Intelligence가 만든다면 됩니다. 음성 인식, 판단, 음성이 모두 iPhone에서 실행됩니다.

Orvena가 말하는 동안 내가 한 말은 저장되나요?

내 차례를 들을 때와 마찬가지로 Apple의 온디바이스 인식기로 받아 적고, Cue가 그 내용을 휴대폰에서 읽습니다. Orvena에게 한 말이 아니라고 판단한 말은 버려지며 대화에 포함되지 않습니다.

Orvena는 왜 답하기 전에 "확인해 볼게요"라고 하나요?

요청이 언어 모델로 가고 0.8초 동안 아무 말이 없으면, Orvena는 내 말을 들었다는 것을 알 수 있도록 짧은 말을 합니다. 답이 10초 넘게 걸리면 아직 작업 중이라고 알려 줍니다.

Cue는 오픈 소스인가요?

가중치, Neural Engine용 Core ML 버전, 참조 코드가 Hugging Face에 Apache 2.0으로 공개되어 있으며, 이는 Cue의 바탕이 된 Qwen3 모델과 같은 라이선스입니다. 학습 데이터도 같은 곳에 CC BY 4.0으로 공개되어 있습니다.