온디바이스 AI vs 클라우드 AI: 사용자에게 실제로 달라지는 것

온디바이스 AI와 클라우드 AI의 차이는 한 가지 사실로 요약됩니다. 모델이 어디에서 실행되느냐입니다. 프라이버시, 가격, 속도, 모델이 할 수 있는 일 등 나머지는 모두 여기서 비롯됩니다. 이 글은 화면 앞에 있는 사용자의 입장에서 본 비교이며, 확인된 수치가 있는 곳에는 실제 숫자를 넣었습니다.

두 가지 설계

클라우드 AI에서는 메시지가 데이터 센터로 이동하고, 그곳의 매우 큰 모델이 답한 뒤 답이 다시 돌아옵니다. 온디바이스 AI에서는 메시지가 휴대폰에 머물고, 더 작은 모델이 그 자리에서 답합니다. Orvena는 후자입니다. 한 번만 받으면 되는 3.1 GB 다운로드인 Qwen 3.5 4B를 iPhone의 GPU에서 실행하고, iOS 27에서는 다운로드 없이 Apple의 온디바이스 모델인 Apple Intelligence로도 답할 수 있습니다.

온디바이스 AI vs 클라우드 AI 한눈에 비교

온디바이스가 잘하는 것

사람들이 실제로 휴대폰에 하는 요청입니다. "오후 3시 회의를 목요일 아침으로 옮겨 줘." "이동 시간을 계산해서 내일 오후 2시까지 공항에 도착하도록 알람 설정해 줘." "오늘 밤 9시에 내일 날씨를 내 첫 회의와 대조해 줘." "이 사진에 무엇이 보여?" 언어는 Orvena 자체 모델이든 Apple Intelligence든 휴대폰 크기의 모델이 처리하고, 캘린더와 알람은 휴대폰 자체의 도구가 처리하며, 이동 시간은 Apple 지도가 제공합니다. 캘린더 항목과 사진은 기기 안에서 이해되며, 읽기 위해 다른 곳으로 전송되지 않습니다.

클라우드가 더 나은 곳

규모입니다. 데이터 센터 모델은 더 많이 알고, 더 오래 추론하고, 더 잘 쓰며, 책 한 권 분량의 문서를 컨텍스트에 담을 수 있습니다. 긴 리서치, 전문 분야, 괜찮은 수준이 아니라 탁월해야 하는 글이라면 차이를 느낄 것이고, 현재로서는 휴대폰에서 아무리 엔지니어링을 해도 그 격차를 메울 수 없습니다. 클라우드 서비스는 몇 분씩 웹을 탐색하는 에이전트처럼 인프라가 필요한 기능도 제공합니다.

신중하게 설계한 하이브리드

한 번에 하나만 고를 필요는 없습니다. Orvena의 '모델' 페이지에는 사용할 수 있는 모든 엔진이 나열됩니다. '기본 제공' 아래에는 iOS 27의 Apple Intelligence가, '기기 내 모델' 아래에는 Orvena가 다운로드한 자체 모델이, '클라우드' 아래에는 iOS 27에서 키 설정이 필요 없고 Apple이 정한 일일 한도가 있는 Apple의 Private Cloud Compute(비공개 클라우드 컴퓨팅)와, 자신의 키로 쓰는 모든 OpenRouter 모델이 있습니다. 기본 엔진 설정인 '자동'('설정'의 '고급')은 다운로드한 모델을 사용하고, 준비된 모델이 없는 동안에는 Apple Intelligence를 사용하며, 스스로 클라우드로 전환하지 않습니다. OpenRouter를 쓰면 Orvena는 대화에서 첫 클라우드 요청을 보내기 전에 그 대화와 도구 결과를 제공자에게 보낼지 묻습니다. Private Cloud Compute는 선택할 때 한 번 묻습니다. 어느 쪽이든 건강 또는 금융 데이터는 매번 다시 묻습니다. 음성 화면에는 현재 어떤 모드인지 표시됩니다. 초록색 "이 iPhone에서", 주황색 "클라우드"입니다.

선택하는 방법

어시스턴트에게 마지막으로 물어본 열 가지를 적어 보세요. 대부분이 내 일정, 내 사진, 쓰고 있던 메시지, 근처에 갈 만한 곳처럼 내 생활에 관한 것이라면 온디바이스가 올바른 기본값입니다. 데이터는 개인적이고, 작업은 휴대폰 크기의 모델이 충분히 해낼 수 있는 범위에 있습니다. 대부분이 리서치나 긴 글쓰기였다면 가끔은 클라우드 접근이 필요합니다. 이상적으로는 그것이 유일한 방식이 아니라, 요청마다 직접 고르는 선택지여야 합니다.

자주 묻는 질문

온디바이스 AI는 클라우드 AI보다 느린가요?

토큰당 속도로 보면 휴대폰은 데이터 센터 GPU보다 느리지만, 네트워크 대기가 없고 답변이 작성되는 대로 스트리밍되므로 짧은 답변은 즉각적으로 느껴집니다. 휴대폰에서 더 오래 걸리는 것은 답변이 시작되기 전에 긴 대화를 읽는 과정입니다.

Private Cloud Compute는 온디바이스 AI만큼 프라이빗한가요?

같은 방식은 아닙니다. Apple 서버에서 실행되므로 요청이 휴대폰을 떠나고 인터넷 연결이 필요합니다. Apple은 "Private Cloud Compute에서 처리되는 데이터는 저장되지 않으며 Apple이 접근할 수도 없습니다"라고 하며, "독립적인 개인정보 보호 및 보안 연구자가 언제든지 이 개인정보 보호 약속을 검증할 수 있습니다"라고 밝힙니다. 온디바이스에서는 그런 약속을 해야 할 서버가 대화에 아예 없습니다.

휴대폰에서 AI를 실행하면 배터리가 빨리 닳나요?

짧은 질문은 전력을 거의 쓰지 않습니다. 긴 음성 대화는 게임을 할 때처럼 휴대폰을 따뜻하게 만들고 그만큼 배터리를 씁니다. 이미 시작한 답변 외에는 백그라운드에서 아무것도 실행되지 않습니다.

온디바이스 AI도 웹을 검색할 수 있나요?

네. 최신 정보를 요청하면 브라우저에서와 마찬가지로 검색어가 검색 제공자에게 전송되고, 읽고 요약하는 일은 휴대폰에서 이루어집니다.