iPhone 온디바이스 음성 어시스턴트: 작동 방식과 기대할 수 있는 것

온디바이스 음성 어시스턴트는 차례로 일하는 세 프로그램으로 이루어집니다. 내 말을 듣는 프로그램, 무엇을 말하고 할지 정하는 프로그램, 그리고 말하는 프로그램입니다. 대부분의 어시스턴트는 가운데 프로그램을, 흔히 나머지 둘까지 서버에서 실행합니다. Orvena는 기본적으로 세 가지를 모두 iPhone에서 실행합니다. 이 글에서는 그것이 무엇을 뜻하는지, 설정 방법, 그리고 한계를 설명합니다.

온디바이스 음성 어시스턴트가 휴대폰에서 실행하는 것

듣기. Orvena는 iOS 26 Speech 프레임워크에 들어 있는 Apple의 온디바이스 음성 인식기를 사용합니다. 어떤 언어를 처음 말할 때 iOS가 그 언어의 인식 모델을 다운로드하므로, 말하기 전의 짧은 "준비 중…" 대기가 그때만 더 길어집니다.

판단하기. 타이핑할 때 답하는 모델과 같은 모델입니다. 휴대폰 GPU에서 실행되는 3.1 GB 다운로드인 Qwen 3.5 4B, 또는 iOS 27에서는 iOS에 내장된 Apple Intelligence입니다. 대화하는 동안 휴대폰의 도구를 사용해 회의를 옮기고, 알람을 설정하고, 날씨를 확인하고, 사진을 찾을 수 있습니다.

말하기. 두 개의 신경망 음성 엔진이 휴대폰에서 음성을 생성합니다. 하나는 영어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어를 지원하며 약 345 MB이고, 다른 하나는 26개 언어를 더 지원하며 400 MB입니다. 둘 다 음성을 잠금 해제한 뒤 내려받으며, 다운로드는 백그라운드에서 마무리됩니다.

어느 온디바이스 모델을 쓰든, 이 과정에서 네트워크를 거치는 것은 없습니다. 에어플레인 모드가 가장 정직한 테스트입니다. 에어플레인 모드를 켜고, 음성 세션을 시작해 내일 캘린더에 무엇이 있는지 물은 다음, 답을 들어 보세요.

대화 시작하기

• 앱에서. 입력창의 파형 버튼을 탭하세요. 전체 화면 음성 보기가 열리며, 키보드 버튼을 누르면 언제든 대화를 잃지 않고 타이핑으로 돌아갈 수 있습니다.
• 동작 버튼에서. 설정을 열고 동작 버튼을 선택한 다음, 단축어로 쓸어넘겨 "Orvena와 대화하기"를 선택하세요. 버튼을 누르고 말하면 됩니다. 같은 "Orvena와 대화하기" 동작은 단축어와 Siri에서도 작동합니다.
• Dynamic Island에서. 세션이 진행되는 동안 실시간 현황에 Listening(듣는 중), Working(작업 중), Approval(승인 필요) 상태가 표시되고, 앱을 벗어났더라도 Stop 버튼으로 듣기를 끝낼 수 있습니다.

한 턴이 진행되는 방식

Orvena는 들으면서 말하는 내용을 받아 적어 화면에 보여 줍니다. 1.5초 동안 조용하면 내 차례가 끝난 것으로 보고, 인식기가 이미 문장을 끝난 것으로 표시했다면 0.6초 뒤에 끝난 것으로 봅니다. 덕분에 생각하는 도중에 말이 끊기지 않으면서도 대화가 빠르게 느껴집니다. 그런 다음 생각하고, 요청에 필요하면 도구를 사용해 결과를 카드로 보여 주고, 답을 말합니다. 답이 끝나면 다시 듣기 시작하므로 손을 쓰지 않고도 대화가 이어집니다. 세션은 '종료'를 탭하거나 90초 동안 아무 말이 없으면 끝납니다.

Orvena가 생각하고 말하는 동안에는 마이크가 꺼집니다. 의도된 설계입니다. 인식기 두 개가 동시에 들으면 어시스턴트가 자기 말에 스스로 답하게 되기 때문입니다. 그래서 온디바이스 방식에서는 답변 도중에 끼어들 수 없습니다. 답을 중간에 끊으려면 '종료'를 탭하거나 Dynamic Island에서 Stop을 누르세요.

오프라인에서 되는 것

위에 설명한 모든 것, 그리고 휴대폰 안에 있는 모든 도구입니다. 캘린더, 미리 알림, 알람과 타이머, 사진, Apple 건강 요약, 연락처, 파일, 음악이 여기에 해당합니다. 연결이 필요한 것은 바깥세상이 필요한 일입니다. 웹 검색, 웹 페이지 읽기, 날씨, 장소 검색과 이동 시간, Notion이나 GitHub 같은 연결된 서비스, Private Cloud Compute(비공개 클라우드 컴퓨팅), 그리고 본인의 키로 추가한 클라우드 모델입니다. 이 항목들은 각각 네트워크에 접속하는 조건과 함께 홈페이지의 장부에 나와 있습니다.

한계

Orvena 자체의 호출어는 없습니다. iOS는 항상 켜진 듣기를 Siri에만 허용하므로, 서드파티 어시스턴트는 직접 열거나 실행해야 합니다. 동작 버튼은 음성 세션을 시작하고, Siri에게 "Orvena에게 물어봐"라고 말하면 질문 하나를 넘길 수 있습니다. 모델은 클라우드 어시스턴트 뒤에 있는 모델보다 작아서, 긴 조사나 전문 분야에서는 차이가 느껴집니다. 하지만 사람들이 휴대폰에 소리 내어 묻는 것, 즉 일정, 날씨, 미리 알림, 사진, 이동 시간을 고려한 알람에는 알맞은 크기입니다. 음성에는 8 GB 메모리를 갖춘 iPhone 15 Pro 이상이 필요한데, 언어 모델에 그만큼 필요하기 때문입니다. 그리고 Orvena가 들을 수 있는 언어는 Apple 온디바이스 인식기에 달려 있으며, 언어 선택기는 Orvena가 말할 수도 있는 언어만 보여 줍니다.

선택 사항인 클라우드 음성

OpenAI 키가 있다면 OpenAI의 실시간 모델로 라이브 음성 세션을 대신 실행할 수 있습니다. 주고받는 속도가 더 빠르고 말하는 도중에 끼어들 수 있는 대신, 오디오가 OpenAI로 스트리밍됩니다. Orvena는 세션이 시작되기 전에 동의를 구하고, 대화에 이미 건강 또는 금융 데이터가 있으면 다시 묻습니다. 또한 음성 화면에 녹색 "이 iPhone에서" 대신 주황색 "클라우드"를 표시하므로, 어떤 모드인지 항상 알 수 있습니다.

자주 묻는 질문

Orvena의 음성에는 인터넷 연결이 필요한가요?

필요 없습니다. 단, 음성 팩이 휴대폰에 있어야 하고, Apple Intelligence 대신 Orvena 자체 모델을 쓴다면 그 모델도 있어야 하며, 해당 언어를 처음 말할 때 iOS가 그 언어의 인식기를 내려받은 뒤여야 합니다. Private Cloud Compute나 클라우드 모델을 선택하지 않았다면 음성 인식, 답변, 음성 합성이 모두 휴대폰에서 실행됩니다. 웹 검색이나 날씨처럼 바깥세상이 필요한 요청만 네트워크를 사용하며, 그것도 요청할 때만입니다.

AirPods나 블루투스 헤드셋을 쓸 수 있나요?

네. 음성 세션은 블루투스 핸즈프리 프로필과 스테레오 프로필을 모두 지원하며, 그 외에는 내장 스피커를 사용합니다.

음성은 무료인가요?

타이핑은 제한 없이 무료입니다. 음성 대화는 구독 없는 $14.99 일회성 구입인 Premium Unlock에 포함됩니다.

왜 호출어가 없나요?

iOS는 백그라운드에서 듣는 것을 Siri에만 허용합니다. Siri에게 "Orvena에게 물어봐"라고 말하면 Siri가 무엇을 물어볼지 묻고, 또는 동작 버튼, 단축어, 앱의 파형 버튼에서 음성 세션을 시작할 수 있습니다.