Cách chạy trợ lý AI offline trên iPhone: yêu cầu và cách cài đặt

Chạy một trợ lý AI offline ngay trên điện thoại, không có máy chủ nào phía sau, là điều khả thi trên các iPhone đời mới. Trên iOS 27 khi bật Apple Intelligence, trợ lý có thể hoạt động ngay lập tức, còn mô hình riêng của Orvena mất khoảng mười phút để cài đặt, phần lớn là thời gian tải về. Đây là hướng dẫn thực tế: điện thoại nào đủ điều kiện, cần bao nhiêu dung lượng, cách cài đặt, nên kỳ vọng những gì, và chính xác những tính năng nào vẫn cần internet.

Yêu cầu để chạy AI offline trên iPhone

Yêu cầu về bộ nhớ RAM mới là điều kiện thực sự. Khi chạy, mô hình chiếm hơn 3 GB bộ nhớ một chút, và iOS cần phần còn lại. Trên một chiếc điện thoại 6 GB, hệ thống sẽ đóng ứng dụng trước khi mô hình kịp nạp xong, nên Orvena kiểm tra bộ nhớ của điện thoại ngay trong các bước làm quen ban đầu và nói thẳng cho bạn biết, thay vì để quá trình tải về chạy rồi thất bại sau đó.

Các bước thiết lập

1. Cài Orvena từ App Store. Trợ lý miễn phí, và không cần tạo tài khoản.
2. Đi qua các trang làm quen ban đầu. Ở trang mô hình, nếu iPhone chạy iOS 27, đã bật Apple Intelligence và đặt ở một ngôn ngữ mà Apple Intelligence hỗ trợ, một thẻ Apple Intelligence sẽ hiện dòng "Tích hợp sẵn trong iOS. Đã sẵn sàng, không cần tải về." Bạn có thể bắt đầu với nó ngay; chạm vào Dùng nếu nó chưa được chọn. Với mô hình riêng của Orvena (Qwen 3.5 4B, theo giấy phép Apache 2.0), chạm vào Nhận để bắt đầu tải về. Mô hình nặng 3,1 GB, gồm mười tệp, và mỗi tệp được đối chiếu với một mã băm đã công bố khi tải về xong.
3. Bạn có thể rời ứng dụng nếu muốn. Quá trình tải về tiếp tục chạy nền, và bạn có thể khám phá ứng dụng trong lúc đó. Nếu bị gián đoạn, nó sẽ tiếp tục từ chỗ đã dừng khi bạn chạm vào.
4. Hỏi một câu. Câu trả lời đầu tiên đến ngay khi mô hình được nạp xong. iOS xin từng quyền, như lịch, lời nhắc, ảnh và các quyền khác, vào lần đầu một yêu cầu cần đến, kèm theo lý do.
5. Tùy chọn: mở khóa giọng nói. Hai gói giọng nói được tải về ở chế độ nền, và lần đầu bạn nói một ngôn ngữ, iOS sẽ tải mô hình nhận dạng trên thiết bị cho ngôn ngữ đó, việc này hiện một lần dưới dạng "Đang chuẩn bị…".

Những gì hoạt động khi không có kết nối

Mọi thứ chỉ cần đến mô hình và điện thoại:

• Trò chuyện, soạn thảo, tóm tắt văn bản bạn dán vào, và đọc ảnh bạn đính kèm. Mô hình riêng của Orvena có bộ mã hóa hình ảnh (vision encoder), nên ảnh được hiểu ngay trên điện thoại.
• Lịch: đọc sự kiện, thêm sự kiện, dời sự kiện. Lời nhắc: thêm, liệt kê, đánh dấu hoàn tất. Mỗi thay đổi để lại một thẻ có nút Hoàn tác.
• Báo thức và hẹn giờ, vẫn đổ chuông ngay cả khi bạn đóng ứng dụng, bất kể chế độ im lặng và Tập trung.
• Tìm ảnh theo ngày, album, địa điểm hoặc loại, chẳng hạn ảnh chụp màn hình hay ảnh selfie.
• Bản tóm tắt từ ứng dụng Sức khỏe của bạn: số bước, giấc ngủ và các bài tập luyện.
• Tra cứu một liên hệ, đọc các tệp bạn đã nhập vào, điều khiển Nhạc, chạy một phím tắt.
• Trò chuyện bằng giọng nói, khi các gói giọng nói đã có trên điện thoại.

Những gì vẫn cần internet, và dữ liệu đi đâu

Ở chế độ máy bay, các tính năng này chỉ đơn giản báo rằng chúng không kết nối được với dịch vụ. Nếu bạn đã chọn Private Cloud Compute, Orvena sẽ chuyển sang trả lời bằng Apple Intelligence trên iPhone khi nó hỗ trợ ngôn ngữ của bạn, và thêm một ghi chú nói rõ điều đó: "Câu trả lời này được tạo trên iPhone này." Ngoài những thứ trên, không có gì khác trong ứng dụng có nơi để gửi đi: không có công cụ phân tích, không có máy chủ tài khoản, và không có máy chủ Orvena nào đứng giữa bạn và các dịch vụ này.

Nên kỳ vọng những gì

Câu trả lời hiện ra dần trong lúc được viết, và những câu ngắn bắt đầu trong vòng một hai giây. Một cuộc trò chuyện dài sẽ mất nhiều thời gian hơn trước khi câu trả lời bắt đầu, vì đọc lại lịch sử là phần tốn kém nhất trên điện thoại. Theo mặc định, mô hình riêng của Orvena suy luận trước khi trả lời; trên trang Mô hình, bạn có thể tắt tính năng này để có câu trả lời nhanh hơn, và mục Cài đặt, Nâng cao cho phép bạn tự đặt ngân sách suy nghĩ. Apple Intelligence không có tùy chọn suy nghĩ. Với mô hình riêng của Orvena, cửa sổ ngữ cảnh là 16.384 token, tương đương khoảng 12.000 từ. Orvena đọc kích thước cửa sổ của Apple Intelligence từ iOS, và trên iOS 27 con số được báo là 8.192 token, nên các cuộc trò chuyện dài sẽ hết chỗ sớm hơn ở đó. Khi một cuộc trò chuyện vượt quá cửa sổ, Orvena giữ lại những lượt trao đổi trọn vẹn gần nhất và bỏ đi những lượt cũ nhất; nó không tóm tắt chúng. Nếu ngay cả như vậy vẫn không vừa với Apple Intelligence, ứng dụng sẽ báo "Cuộc trò chuyện này quá dài đối với Apple Intelligence. Hãy bắt đầu cuộc trò chuyện mới, hoặc chuyển sang mô hình đã tải về của Orvena trong Mô hình."

Một câu hỏi ngắn tốn rất ít pin. Một cuộc trò chuyện bằng giọng nói kéo dài sẽ làm điện thoại ấm lên như khi chơi game. Nếu bạn chuyển sang ứng dụng khác, câu trả lời từ Apple Intelligence hoặc một mô hình đám mây vẫn tiếp tục thêm một lúc, còn câu trả lời từ mô hình riêng của Orvena sẽ tạm dừng và tiếp tục khi bạn quay lại; báo thức và hẹn giờ tự đổ chuông; một tác vụ theo lịch sẽ thông báo cho bạn vào đúng giờ bạn đặt và chạy khi bạn mở thông báo.

Giữ cho gọn nhẹ

Trang Mô hình cho phép bạn chuyển sang một biến thể độ chính xác hỗn hợp của cùng mô hình đó (3,57 GB, gọi công cụ chính xác hơn) hoặc gỡ bỏ mô hình để giải phóng dung lượng. Mỗi gói giọng nói có thể được gỡ bỏ riêng. Lịch sử trò chuyện là một tệp trên điện thoại, được mã hóa bằng chế độ bảo vệ tệp hoàn toàn của iOS và không nằm trong các bản sao lưu. Xóa ứng dụng sẽ xóa mọi thứ: mô hình, giọng nói và lịch sử.

Nếu có trục trặc

• Quá trình tải về bị dừng. Chạm vào nó. Nó sẽ tiếp tục từ chỗ đã dừng, và mọi tệp đều được kiểm tra lại với mã băm của nó.
• "Thiết bị này không thể chạy Orvena." Điện thoại có dưới 8 GB bộ nhớ RAM. Không có tùy chọn nào thay đổi được điều này.
• "Preparing the speech model took too long." (việc chuẩn bị mô hình nhận dạng giọng nói mất quá nhiều thời gian) Phiên giọng nói đầu tiên bằng một ngôn ngữ mới sẽ tải bộ nhận dạng của ngôn ngữ đó từ Apple và cần kết nối một lần. Hãy thử lại sau giây lát.
• Câu trả lời có vẻ chậm. Tắt Suy nghĩ trên trang Mô hình, hoặc hỏi những câu ngắn hơn trong một cuộc trò chuyện mới. Trên iOS 27, bạn cũng có thể chuyển sang Apple Intelligence trong mục Tích hợp sẵn trên trang Mô hình. Chế độ nguồn điện thấp cũng tự động giảm một nửa ngân sách suy nghĩ.
• "Apple Intelligence chưa hỗ trợ ngôn ngữ này." Mô hình của Apple hỗ trợ ít ngôn ngữ hơn mô hình riêng của Orvena. Hãy tải mô hình của Orvena về trên trang Mô hình để trò chuyện bằng ngôn ngữ đó.

Câu hỏi thường gặp

Mô hình có tải về lại mỗi lần tôi mở ứng dụng không?

Không. Bản tải về 3,1 GB chỉ diễn ra một lần. Sau đó mô hình được nạp từ bộ nhớ lưu trữ của điện thoại và chạy mà hoàn toàn không cần mạng.

Nó có thật sự hoạt động ở chế độ máy bay không?

Có. Trò chuyện, hình ảnh và mọi công cụ trên điện thoại đều hoạt động khi đã tắt hết sóng. Chỉ có tìm kiếm web, mở trang web, thời tiết, địa điểm, dịch vụ đã kết nối, Private Cloud Compute, mô hình đám mây và giọng nói đám mây trực tiếp cần kết nối, và chúng sẽ báo cho bạn biết khi không kết nối được.

Nó chiếm bao nhiêu dung lượng?

Không cần tải gì trong Orvena nếu bạn dùng Apple Intelligence trên iOS 27. Mô hình riêng của Orvena nặng 3,1 GB, cộng thêm 331 MB và 400 MB cho hai gói giọng nói nếu bạn dùng giọng nói. Hãy để trống khoảng 4 GB trước khi bắt đầu.

Tôi có chạy được trên iPhone 15 hoặc 14 Pro không?

Không. Những máy này có 6 GB bộ nhớ RAM, trong khi mô hình cần hơn 3 GB một chút và iOS cần phần còn lại. iPhone 15 Pro và mọi đời máy mới hơn đều đủ điều kiện.

Apple Intelligence có hoạt động offline không?

Mô hình trên thiết bị thì có. Apple cho biết các ứng dụng có thể dùng nó và "các tính năng bạn xây dựng hoạt động ngoại tuyến." Trong Orvena, Apple Intelligence vẫn trả lời và dùng các công cụ trên điện thoại khi đã tắt hết sóng. Private Cloud Compute, mô hình lớn hơn của Apple chạy trên máy chủ, thì cần kết nối.