Asystent głosowy na urządzeniu dla iPhone'a: jak działa i czego się spodziewać
Asystent głosowy na urządzeniu to trzy programy działające po kolei: jeden Cię słyszy, drugi decyduje, co powiedzieć i zrobić, a trzeci mówi. Większość asystentów uruchamia ten środkowy, a często także dwa pozostałe, na serwerze. Orvena domyślnie uruchamia wszystkie trzy, nie wychodząc poza iPhone'a. Oto, co to oznacza, jak to skonfigurować i gdzie są ograniczenia.
Co asystent głosowy na urządzeniu uruchamia na telefonie
Słyszenie. Orvena używa rozpoznawania mowy Apple działającego na urządzeniu, z frameworka Speech w iOS 26. Gdy pierwszy raz mówisz w danym języku, iOS pobiera model rozpoznawania dla tego języka, więc krótka pauza z komunikatem "Przygotowuję…", zanim zaczniesz mówić, trwa za tym pierwszym razem dłużej.
Decydowanie. Ten sam model, który odpowiada, gdy piszesz: Orvena 4B, własny model Orveny, pobierany plik o rozmiarze 3,1 GB, który działa na GPU telefonu, albo w iOS 27 Apple Intelligence, wbudowana w iOS. Podczas rozmowy może korzystać z narzędzi telefonu: przenieść spotkanie, ustawić alarm, sprawdzić pogodę, znaleźć zdjęcie.
Mówienie. Głos generują na telefonie dwa neuronowe silniki mowy. Jeden obsługuje angielski, hiszpański, francuski, włoski i portugalski, a jego pakiet do pobrania ma około 345 MB; drugi obsługuje 26 kolejnych języków i ma 400 MB. Każdy ma też wersję przygotowaną dla układu Neural Engine w iPhonie, 634 MB w przypadku pierwszego i 129 MB w przypadku drugiego, dzięki czemu mowa nie konkuruje z modelem językowym o GPU. Wszystkie są pobierane po odblokowaniu głosu, pobieranie kończy się w tle, a pierwsza sesja głosowa jednorazowo je przygotowuje.
Śledzenie rozmowy. Własny mały model Orveny, Cue, rozpoznaje, o co Ci chodzi, gdy mówisz w trakcie wypowiedzi Orveny, i bez modelu językowego odpowiada na krótkie kwestie w rodzaju "słyszysz mnie?". Pakiet do pobrania ma 385 MB, a każdą decyzję model podejmuje w układzie Neural Engine w około 10 milisekund.
Z którymkolwiek z modeli na urządzeniu nic w tej pętli nie przechodzi przez sieć. Uczciwym testem jest tryb samolotowy: włącz go, rozpocznij sesję głosową, zapytaj, co masz jutro w kalendarzu, i posłuchaj odpowiedzi.
Jak rozpocząć rozmowę
- W aplikacji. Stuknij przycisk z falą dźwiękową na pasku pytania. Otworzy się pełnoekranowy widok głosowy, a przycisk klawiatury w każdej chwili przełącza z powrotem na pisanie, bez utraty rozmowy.
- Z przycisku czynności. Otwórz Ustawienia, wybierz Przycisk czynności, przesuń do opcji Skrót i wybierz "Porozmawiaj z Orveną". Naciśnij i mów. Ta sama akcja "Porozmawiaj z Orveną" działa w Skrótach i przez Siri.
- Z Dynamic Island. Podczas sesji Aktywność na żywo pokazuje, czy Orvena słucha, pracuje, czy czeka na zatwierdzenie, a przycisk zatrzymania kończy słuchanie, nawet jeśli wyjdziesz z aplikacji.
Jak przebiega tura
Orvena słucha i na bieżąco pokazuje transkrypcję. Uznaje Twoją wypowiedź za zakończoną po 1,5 sekundy ciszy albo po 0,6 sekundy, jeśli rozpoznawanie mowy już oznaczyło Twoje zdanie jako ostateczne. Dzięki temu wymiana zdań jest szybka, a Orvena nie przerywa Ci w pół myśli. Potem myśli, używa narzędzia, jeśli prośba tego wymaga, pokazuje wynik jako kartę i wypowiada odpowiedź. Gdy odpowiedź się kończy, znowu słucha, więc rozmowa toczy się bez użycia rąk. Sesja kończy się, gdy stukniesz Zakończ, albo po 90 sekundach, w których nic nie zostało powiedziane.
Orvena słucha także wtedy, gdy myśli i mówi, a redukcja echa w iPhonie nie dopuszcza jej własnego głosu do mikrofonu. Gdy zaczynasz mówić, jej głos cichnie, a Cue ustala, o co Ci chodziło: po "mhm" Orvena mówi dalej, "czekaj" albo "stop" kończy odpowiedź, a nowe pytanie ją przerywa i staje się Twoją kolejną wypowiedzią. Przerywanie Orvenie opisuje, jak rozpoznaje każdy z tych przypadków, oraz odpowiedzi, których udziela bez modelu językowego.
Co działa offline
Wszystko powyższe i każde narzędzie, które działa na telefonie: kalendarz, przypomnienia, alarmy i minutniki, zdjęcia, podsumowania z aplikacji Zdrowie, kontakty, pliki, muzyka. Połączenia wymaga to, co sięga do świata zewnętrznego: wyszukiwanie w sieci, czytanie stron internetowych, pogoda, wyszukiwanie miejsc i czasy dojazdu, połączone usługi, takie jak Notion czy GitHub, Private Cloud Compute i każdy model w chmurze dodany z własnym kluczem. Każda z tych rzeczy jest wymieniona, razem z warunkiem, pod jakim łączy się z siecią, w rejestrze na stronie głównej.
Ograniczenia
Orvena nie ma własnego słowa aktywującego. iOS zastrzega ciągłe nasłuchiwanie dla Siri, więc asystenta innej firmy trzeba otworzyć lub wywołać: przycisk czynności uruchamia sesję głosową, a powiedzenie do Siri "Zapytaj aplikację Orvena" przekazuje Orvenie jedno pytanie. Model jest mniejszy niż te, które stoją za asystentami w chmurze, i przy długim researchu albo w specjalistycznej dziedzinie to zauważysz; przy tym, o co ludzie pytają telefon na głos (plan dnia, pogoda, przypomnienie, zdjęcie, alarm uwzględniający czas dojazdu), ma właściwy rozmiar. Głos wymaga iPhone'a 15 Pro lub nowszego z 8 GB pamięci, bo tego wymaga model językowy. A to, jakich języków Orvena potrafi słuchać, zależy od rozpoznawania mowy Apple na urządzeniu, które nie obsługuje jeszcze bułgarskiego, estońskiego, łotewskiego, litewskiego ani słoweńskiego: w tych językach Orvena czyta i pisze, gdy wpisujesz tekst, ale nie potrafi ich słuchać. Lista wyboru języka oferuje tylko języki, które Orvena potrafi zarówno usłyszeć, jak i wypowiedzieć.
Opcjonalny głos w chmurze
Jeśli masz klucz OpenAI, możesz zamiast tego prowadzić sesję głosową na żywo na modelu realtime od OpenAI. Wymiana zdań jest w nim szybsza, a w zamian Twój dźwięk jest przesyłany strumieniowo do OpenAI. Orvena prosi o zgodę przed rozpoczęciem sesji, pyta ponownie, jeśli rozmowa zawiera już dane o zdrowiu lub finansach, i oznacza ekran głosowy bursztynowym napisem "chmura" zamiast zielonego "na tym iPhonie", więc zawsze wiesz, w jakim trybie jesteś.
Częste pytania
Czy głos w aplikacji Orvena potrzebuje internetu?
Nie, o ile pakiety głosowe są już na telefonie (a jeśli Orvena odpowiada własnym modelem zamiast Apple Intelligence, to także ten model) i iOS pobrał rozpoznawanie mowy dla Twojego języka przy pierwszym użyciu tego języka. Rozpoznawanie, odpowiedź i mowa działają na telefonie, chyba że wybierzesz Private Cloud Compute lub model w chmurze. Z sieci korzystają tylko prośby, które potrzebują świata zewnętrznego, na przykład wyszukiwanie w sieci lub pogoda, i to tylko wtedy, gdy o nie poprosisz.
W jakich językach mogę mówić do Orveny?
W 26 z jej 31 języków oraz po norwesku. Rozpoznawanie mowy Apple na urządzeniu nie obejmuje jeszcze bułgarskiego, estońskiego, łotewskiego, litewskiego ani słoweńskiego, więc w tych językach Orvena rozumie to, co piszesz, i sama w nich pisze, ale nie potrafi w nich słuchać. Każdy język opisują poradniki o asystencie głosowym.
Czy mogę przerwać, kiedy Orvena mówi?
Tak. Zacznij mówić, a jej głos ścichnie, gdy Orvena ustala, o co Ci chodzi. Po "mhm" mówi dalej, po "czekaj" lub "stop" przestaje, a na nowe pytanie odpowiada od razu. Jeśli modele, które za to odpowiadają, nie mogły się jeszcze pobrać, głos nadal działa i wyświetla komunikat "Przerywanie jest na razie wyłączone. Orvena dokończy konfigurację, gdy następnym razem rozpoczniesz rozmowę głosową."
Czy mogę używać AirPods lub zestawu słuchawkowego Bluetooth?
Tak. Sesje głosowe obsługują zarówno profil zestawu głośnomówiącego Bluetooth, jak i profil stereo, a w pozostałych przypadkach używany jest wbudowany głośnik.
Czy głos jest darmowy?
Pisanie jest darmowe bez limitów. Rozmowy głosowe wchodzą w skład Premium Unlock, jednorazowego zakupu za 14,99 USD bez subskrypcji.
Dlaczego nie ma słowa aktywującego?
iOS pozwala nasłuchiwać w tle tylko Siri. Możesz powiedzieć do Siri "Zapytaj aplikację Orvena", a Siri zapyta, o co chcesz zapytać, albo rozpocząć sesję głosową przyciskiem czynności, ze Skrótów lub przyciskiem z falą dźwiękową w aplikacji.
Orvena jest darmowa w App Store na iPhone'a 15 Pro i nowsze modele. Rozmowy głosowe wchodzą w skład jednorazowego Premium Unlock.
Pobierz w App Store