Cara menyela asisten suara AI di iPhone, dan apa yang terjadi selanjutnya

Sejak versi 2.4, Orvena mendengarkan selagi berbicara. Anda bisa memotong jawaban, berubah pikiran di tengah jalan, atau mengucapkan "hmm" tanpa menghentikannya, dan sebuah model kecil di Neural Engine iPhone menentukan mana yang Anda maksud. Berikut apa yang dilakukannya untuk masing-masing, balasan singkat yang diberikannya tanpa model bahasa, dan seberapa baik hasilnya.

Apa yang terjadi saat Anda berbicara selagi Orvena berbicara

Selama sesi suara, mikrofon tetap menyala selagi Orvena berpikir dan berbicara. Peredam gema iPhone menghapus suara Orvena sendiri dari apa yang didengar mikrofon, sehingga yang tertangkap hanya suara Anda. Begitu pengenal ucapan Apple menangkap kata-kata, Orvena menurunkan suaranya menjadi sekitar sepertiga volumenya, dan Cue, model giliran bicaranya, membaca ucapan Anda bersama kalimat yang sedang diucapkan Orvena. Ada tiga kemungkinan hasil:

Untuk permintaan, Cue juga menandai kata tempat permintaan itu dimulai, sehingga "oke paham, sekarang cek Lisbon" sampai ke model sebagai "sekarang cek Lisbon". Saat ragu, ia menyisakan satu kata lebih banyak: "oke" tambahan tidak merugikan model, sedangkan kehilangan "Lisbon" merugikan.

Perintah berhenti yang jelas langsung berlaku selagi Anda masih berbicara, begitu Cue setidaknya 90% yakin. Selebihnya menunggu jeda: 0,7 detik tanpa kata baru, atau 0,4 detik jika pengenal ucapan sudah menandai kalimat Anda sebagai selesai. "Oh", ucapan kepada orang lain di ruangan, atau TV di latar belakang seharusnya dianggap lanjut, supaya jawaban tidak terpotong setiap kali ada yang berbicara.

Hal yang sama berlaku selagi Orvena masih menyiapkan jawaban. Jika Anda menambahkan "eh, jadi jam 7.30 saja" sebelum ia mulai berbicara, ia berhenti mengerjakan permintaan pertama dan menjawab yang baru.

Balasan yang tidak lewat model bahasa

Beberapa hal yang Anda ucapkan dalam sesi suara sama sekali tidak memerlukan model bahasa. Saat giliran baru dimulai, Cue lebih dulu memeriksa apakah itu salah satu dari sembilan frasa pendek yang bisa ditangani Orvena sendiri, dan jika ya, Orvena langsung menjawab dengan salah satu dari beberapa kalimat tetap:

Cue membaca bagian akhir dari apa yang terakhir diucapkan Orvena, sehingga kata-kata yang sama bisa berarti hal yang berbeda. Setelah "Perlu saya tambahkan ke kalender Anda?", "oke" atau "makasih" adalah jawaban Anda atas pertanyaan itu, dan diteruskan ke model. Apa pun yang berisi permintaan juga diteruskan ke model: "makasih, sekarang tambahkan susu ke daftar belanja" adalah permintaan, bukan ucapan terima kasih. Cue hanya menjawab sendiri jika setidaknya 90% yakin, dan 97% untuk ucapan perpisahan, karena itu mengakhiri sesi.

Jika permintaan diteruskan ke model dan tidak ada yang diucapkan selama 0,8 detik, Orvena mengucapkan sesuatu yang singkat seperti "Oke, saya cek dulu." Jika jawabannya belum siap setelah 10 detik, ia mengucapkan "Masih saya kerjakan." Keduanya tidak diucapkan setelah jawaban dimulai.

Di mana keputusan dibuat

Cue adalah model kecil milik Orvena sendiri, dengan 376 juta parameter, yang dilatih khusus untuk dua keputusan ini. Model ini berjalan di Neural Engine iPhone, tempat satu keputusan memakan waktu sekitar 8 milidetik saat ponsel menganggur dan sekitar 10 saat GPU sibuk menghasilkan jawaban, diukur di iPhone 17 Pro Max. Dengan begitu GPU tetap tersedia bagi model bahasa yang menulis jawaban, dan ini paling penting jika model itu adalah model milik Orvena sendiri yang menghasilkan jawaban di ponsel yang sama.

Cue hanya membaca teks: transkrip dari pengenal ucapan di perangkat milik Apple dan kata-kata yang sedang diucapkan Orvena. Tidak ada apa pun terkait selaan yang keluar dari ponsel. Ukuran unduhannya 385 MB, diunduh bersama suara setelah Anda membuka fitur suara, dan sesi suara pertama menyiapkannya untuk Neural Engine satu kali, dengan indikator progres yang sama seperti suara. Jika tidak bisa diunduh, misalnya karena Anda sedang offline, fitur suara tetap dimulai dan memberi tahu Anda: "Menyela dinonaktifkan untuk sementara. Orvena akan menyelesaikan penyiapannya saat Anda memulai suara lagi."

Model dan kode referensinya tersedia di Hugging Face dengan lisensi Apache 2.0.

Seberapa sering ia tepat

Pada set uji yang ditulis terpisah dari data latihnya, dalam ke-30 bahasanya, Cue mengambil keputusan yang tepat pada 90,4% dari 900 selaan dan 95,2% dari 1.800 giliran baru. Ia hanya mengambil jalan pintas saat yakin: dari 990 permintaan yang ditujukan untuk model bahasa, 1 mendapat balasan singkat sebagai gantinya.

Perlu diketahui

• Bahasa. Cue mengenal 30 bahasa. Fitur suara mendengarkan dalam bahasa yang didukung pengenal ucapan di perangkat milik Apple, dan balasan singkat berfungsi di semua bahasa itu kecuali bahasa Norwegia.
• Speaker atau headphone. Dengan AirPods atau headphone lain, Orvena mendengarkan sepanjang waktu. Di speaker iPhone sendiri, ia mengandalkan peredam gema, dan tanpa itu Orvena mendengarkan di sela-sela jawaban.

Pertanyaan umum

Dengan model apa saja fitur menyela berfungsi?

Model milik Orvena sendiri, Apple Intelligence, Private Cloud Compute, dan model cloud yang Anda tambahkan dengan kunci Anda sendiri. Cue berjalan di ponsel, model mana pun yang menulis jawabannya. Dalam sesi suara langsung dengan kunci OpenAI Anda sendiri, model realtime OpenAI menangani selaan dengan sendirinya.

Apakah fitur ini berfungsi offline?

Ya, asalkan Cue dan suara sudah ada di ponsel dan jawabannya berasal dari model Orvena atau Apple Intelligence. Pengenalan ucapan, keputusan, dan suara semuanya berjalan di iPhone.

Apakah Orvena menyimpan apa yang saya ucapkan selagi ia berbicara?

Orvena mentranskripsikannya dengan pengenal ucapan di perangkat milik Apple, sama seperti saat mendengarkan giliran Anda, dan Cue membaca transkrip itu di ponsel. Kata-kata yang menurutnya tidak ditujukan kepadanya dibuang dan tidak menjadi bagian dari percakapan.

Kenapa Orvena mengucapkan "saya cek dulu" sebelum menjawab?

Jika permintaan diteruskan ke model bahasa dan tidak ada yang diucapkan selama 0,8 detik, Orvena mengucapkan kalimat singkat agar Anda tahu ia mendengar Anda. Jika jawabannya butuh lebih dari 10 detik, ia memberi tahu bahwa ia masih mengerjakannya.

Apakah Cue open source?

Bobot model, versi Core ML untuk Neural Engine, dan kode referensinya tersedia di Hugging Face dengan lisensi Apache 2.0, lisensi yang sama dengan model Qwen3 yang menjadi dasarnya. Data latihnya juga dipublikasikan di sana, dengan lisensi CC BY 4.0.