Cách ngắt lời trợ lý ảo giọng nói AI trên iPhone, và chuyện gì xảy ra sau đó

Từ phiên bản 2.4, Orvena vừa nói vừa lắng nghe. Bạn có thể cắt ngang một câu trả lời, đổi ý giữa chừng, hoặc nói "ừm" mà không làm nó dừng, và một mô hình nhỏ trên Neural Engine của iPhone sẽ xác định bạn muốn điều nào. Bài này nói về cách nó xử lý từng trường hợp, những câu trả lời ngắn nó đưa ra mà không cần mô hình ngôn ngữ, và nó làm tốt đến đâu.

Chuyện gì xảy ra khi bạn nói chen vào lúc Orvena đang nói

Trong một phiên giọng nói, micro vẫn mở trong lúc Orvena suy nghĩ và nói. Tính năng khử tiếng vọng của iPhone loại bỏ giọng của chính Orvena khỏi những gì micro thu được, nên nó chỉ nghe thấy bạn. Ngay khi bộ nhận dạng giọng nói của Apple báo có từ ngữ, Orvena hạ giọng xuống còn khoảng một phần ba âm lượng, và Cue, mô hình luân phiên lượt nói của nó, đọc những gì bạn nói cùng với câu Orvena đang nói dở. Có ba kết quả:

Với một yêu cầu, Cue cũng đánh dấu từ mở đầu yêu cầu đó, nên "ok hiểu rồi, giờ xem Lisbon đi" đến mô hình dưới dạng "giờ xem Lisbon đi". Khi không chắc chắn, nó giữ thừa một từ: một chữ "ok" thừa chẳng gây hại gì cho mô hình, còn mất chữ "Lisbon" thì có.

Một yêu cầu dừng rõ ràng có hiệu lực ngay khi Cue chắc chắn ít nhất 90%, dù bạn vẫn đang nói. Mọi trường hợp khác đều chờ một khoảng ngừng: 0,7 giây không có từ mới, hoặc 0,4 giây khi bộ nhận dạng đã đánh dấu câu của bạn là hoàn chỉnh. Một tiếng "ồ", một câu nói với người khác trong phòng hay tiếng TV phía sau nên được tính là tiếp tục, để câu trả lời không bị cắt ngang mỗi khi có ai đó lên tiếng.

Điều tương tự cũng áp dụng khi Orvena còn đang chuẩn bị câu trả lời. Nếu bạn thêm "à thôi, đổi thành 7 giờ 30 đi" trước khi nó bắt đầu nói, nó sẽ ngừng xử lý yêu cầu đầu tiên và trả lời yêu cầu mới.

Những câu trả lời không cần mô hình ngôn ngữ

Có những điều bạn nói trong phiên giọng nói hoàn toàn không cần đến mô hình ngôn ngữ. Khi một lượt mới bắt đầu, Cue trước tiên kiểm tra xem đó có phải là một trong chín cụm từ ngắn mà Orvena tự xử lý được không, và nếu đúng, Orvena trả lời ngay bằng một trong vài câu cố định:

Cue đọc phần cuối của câu Orvena vừa nói, nên cùng một lời có thể mang nghĩa khác nhau. Sau câu "Mình thêm việc này vào lịch của bạn nhé?", một tiếng "ok" hay "cảm ơn" là câu trả lời của bạn cho câu hỏi đó, và nó được chuyển đến mô hình. Bất cứ câu nào có chứa yêu cầu cũng được chuyển đến mô hình: "cảm ơn, giờ thêm sữa vào danh sách mua sắm" là một yêu cầu, không phải lời cảm ơn. Cue chỉ tự trả lời khi chắc chắn ít nhất 90%, và 97% với lời tạm biệt, vì lời đó kết thúc phiên.

Khi một yêu cầu được chuyển đến mô hình và không ai nói gì trong 0,8 giây, Orvena nói một câu ngắn như "Được, để mình xem." Nếu sau 10 giây câu trả lời vẫn chưa sẵn sàng, nó nói "Mình vẫn đang xem." Cả hai câu này đều không được nói khi câu trả lời đã bắt đầu.

Quyết định được đưa ra ở đâu

Cue là một mô hình nhỏ của riêng Orvena, với 376 triệu tham số, được huấn luyện cho đúng hai quyết định này. Nó chạy trên Neural Engine của iPhone, nơi mỗi quyết định mất khoảng 8 mili giây khi máy rảnh và khoảng 10 khi GPU đang bận tạo câu trả lời, đo trên iPhone 17 Pro Max. Nhờ vậy GPU được dành cho mô hình ngôn ngữ viết câu trả lời, và điều này quan trọng nhất khi mô hình đó là mô hình riêng của Orvena, đang tạo câu trả lời trên cùng chiếc điện thoại.

Cue chỉ đọc văn bản: bản chép lời từ bộ nhận dạng trên thiết bị của Apple và những từ Orvena đang nói. Không có gì liên quan đến việc ngắt lời rời khỏi điện thoại. Nó nặng 385 MB, được tải về cùng các giọng nói sau khi bạn mở khóa giọng nói, và phiên giọng nói đầu tiên chuẩn bị nó cho Neural Engine một lần, với cùng thanh tiến trình như các giọng nói. Nếu không tải về được, chẳng hạn vì bạn đang offline, giọng nói vẫn bắt đầu và cho bạn biết: "Tạm thời chưa thể ngắt lời. Orvena sẽ hoàn tất thiết lập vào lần tới bạn bắt đầu trò chuyện bằng giọng nói."

Mô hình và mã tham khảo có trên Hugging Face theo giấy phép Apache 2.0.

Nó đúng thường xuyên đến đâu

Trên các bộ kiểm thử được viết tách biệt với dữ liệu huấn luyện, ở cả 30 ngôn ngữ, Cue quyết định đúng ở 90,4% trong 900 lần ngắt lời và 95,2% trong 1.800 lượt mới. Nó chỉ đi đường tắt khi chắc chắn: trong 990 yêu cầu dành cho mô hình ngôn ngữ, có 1 yêu cầu nhận câu trả lời ngắn thay vào đó.

Điều nên biết

• Ngôn ngữ. Cue biết 30 ngôn ngữ. Giọng nói nghe được những ngôn ngữ mà bộ nhận dạng trên thiết bị của Apple hỗ trợ, và các câu trả lời ngắn hoạt động ở tất cả các ngôn ngữ đó trừ tiếng Na Uy.
• Loa hay tai nghe. Với AirPods hoặc tai nghe khác, Orvena lắng nghe suốt. Trên loa của chính iPhone, nó dựa vào tính năng khử tiếng vọng, và khi không có tính năng đó, Orvena sẽ nghe vào khoảng giữa các câu trả lời.

Câu hỏi thường gặp

Tính năng ngắt lời hoạt động với những mô hình nào?

Mô hình riêng của Orvena, Apple Intelligence, Private Cloud Compute và các mô hình đám mây bạn thêm bằng khóa của riêng bạn. Cue chạy trên điện thoại, bất kể mô hình nào viết câu trả lời. Trong một phiên giọng nói trực tiếp bằng khóa OpenAI của riêng bạn, mô hình realtime của OpenAI tự xử lý việc ngắt lời.

Nó có hoạt động offline không?

Có, khi Cue và các giọng nói đã có trên điện thoại và câu trả lời đến từ mô hình của Orvena hoặc Apple Intelligence. Nhận dạng, quyết định và giọng nói đều chạy trên iPhone.

Orvena có giữ lại những gì tôi nói trong lúc nó đang nói không?

Nó chép lời bằng bộ nhận dạng trên thiết bị của Apple, giống như khi nghe lượt của bạn, và Cue đọc bản chép lời đó trên điện thoại. Những lời nó xác định là không dành cho nó sẽ bị bỏ đi và không trở thành một phần của cuộc trò chuyện.

Vì sao Orvena nói "để mình xem" trước khi trả lời?

Khi một yêu cầu được chuyển đến mô hình ngôn ngữ và không ai nói gì trong 0,8 giây, Orvena nói một câu ngắn để bạn biết nó đã nghe thấy bạn. Nếu câu trả lời mất hơn 10 giây, nó cho bạn biết nó vẫn đang xử lý.

Cue có phải mã nguồn mở không?

Trọng số, một phiên bản Core ML cho Neural Engine và mã tham khảo có trên Hugging Face theo giấy phép Apache 2.0, cùng giấy phép với mô hình Qwen3 làm nền tảng cho Cue. Dữ liệu huấn luyện cũng được công bố ở đó, theo giấy phép CC BY 4.0.