Offline-Sprachassistent fürs iPhone: wie er auf dem Gerät funktioniert und was du erwarten kannst
Ein Offline-Sprachassistent, der ganz auf dem Gerät läuft, besteht aus drei Programmen, die nacheinander arbeiten: eines, das dich hört, eines, das entscheidet, was gesagt und getan wird, und eines, das spricht. Die meisten Assistenten lassen das mittlere, oft auch die beiden anderen, auf einem Server laufen. Orvena führt standardmäßig alle drei auf dem iPhone aus. Hier steht, was dazugehört, wie du es einrichtest und wo die Grenzen liegen.
Was bei einem Offline-Sprachassistenten auf dem Telefon läuft
Hören. Orvena nutzt Apples Spracherkennung auf dem Gerät aus dem Speech-Framework in iOS 26. Wenn du eine Sprache zum ersten Mal sprichst, lädt iOS das Erkennungsmodell für diese Sprache herunter, deshalb dauert die kurze Pause mit "Wird vorbereitet…", bevor du sprichst, beim ersten Mal länger.
Entscheiden. Dasselbe Modell, das antwortet, wenn du tippst: Orvena 4B, Orvenas eigenes Modell, ein Download von 3,1 GB, der auf der GPU des Telefons läuft, oder unter iOS 27 Apple Intelligence, das in iOS eingebaut ist. Es kann während des Gesprächs die Werkzeuge des Telefons nutzen: einen Termin verschieben, einen Wecker stellen, das Wetter prüfen, ein Foto finden.
Sprechen. Zwei neuronale Sprachsynthese-Engines erzeugen die Stimme auf dem Telefon. Eine deckt Englisch, Spanisch, Französisch, Italienisch und Portugiesisch ab und ist ein Download von etwa 345 MB; die andere deckt 26 weitere Sprachen ab und ist 400 MB groß. Zu beiden gibt es außerdem eine Version für die Neural Engine des iPhone, 634 MB für die erste und 129 MB für die zweite, damit die Sprachausgabe nicht mit dem Sprachmodell um die GPU konkurriert. Alle werden geladen, nachdem du den Sprachmodus freigeschaltet hast, laden im Hintergrund fertig und werden in der ersten Sprachsitzung einmalig vorbereitet.
Dem Gespräch folgen. Ein kleines eigenes Modell von Orvena, Cue, erkennt, was du meinst, wenn du sprichst, während Orvena redet, und beantwortet kurze Beiträge wie "hörst du mich?" ohne das Sprachmodell. Es ist ein Download von 385 MB und trifft jede Entscheidung auf der Neural Engine in etwa 10 Millisekunden.
Mit jedem der beiden Modelle auf dem Gerät geht nichts aus diesem Ablauf über das Netz. Der Flugmodus ist der ehrliche Test: Schalte ihn ein, starte eine Sprachsitzung, frag, was morgen in deinem Kalender steht, und hör dir die Antwort an.
Eine Unterhaltung starten
- In der App. Tippe in der Eingabeleiste auf die Wellenform-Taste. Eine Sprachansicht im Vollbild öffnet sich, und eine Tastatur-Taste bringt dich jederzeit zurück zum Tippen, ohne dass die Unterhaltung verloren geht.
- Über die Aktionstaste. Öffne Einstellungen, wähle "Aktionstaste", streiche zu "Kurzbefehl" und wähle "Mit Orvena sprechen". Drücken und sprechen. Dieselbe Aktion "Mit Orvena sprechen" funktioniert auch über Kurzbefehle und über Siri.
- Über die Dynamic Island. Während eine Sitzung läuft, zeigt eine Live-Aktivität, ob Orvena zuhört, arbeitet oder auf eine Freigabe wartet, und eine Stopp-Taste beendet das Zuhören, auch wenn du die App verlassen hast.
Wie das Gespräch abläuft
Orvena hört zu und zeigt das Transkript, während du sprichst. Nach 1,5 Sekunden Stille gilt dein Redebeitrag als beendet, nach 0,6 Sekunden schon, wenn die Erkennung deinen Satz bereits als abgeschlossen markiert hat. Dadurch wirkt der Austausch schnell, ohne dich mitten im Gedanken abzuschneiden. Dann denkt Orvena nach, nutzt ein Werkzeug, wenn die Anfrage eins braucht, zeigt das Ergebnis als Karte und spricht die Antwort. Wenn die Antwort endet, hört es wieder zu, sodass eine Unterhaltung freihändig weiterläuft. Eine Sitzung endet, wenn du auf "Beenden" tippst, oder nach 90 Sekunden, in denen nichts gesagt wurde.
Orvena hört weiter zu, während es nachdenkt und spricht, und die Echounterdrückung des iPhone hält seine eigene Stimme vom Mikrofon fern. Wenn du anfängst zu sprechen, wird seine Stimme leiser, während Cue erkennt, was du gemeint hast: Bei einem "mhm" redet es weiter, "warte" oder "stopp" beendet die Antwort, und eine neue Frage hält es an und wird zu deinem nächsten Redebeitrag. Was als was zählt und welche Antworten Orvena ohne das Sprachmodell gibt, erklärt der Artikel Orvena unterbrechen.
Was offline funktioniert
Alles oben Genannte und jedes Werkzeug, das auf dem Telefon läuft: Kalender, Erinnerungen, Wecker und Timer, Fotos, Zusammenfassungen aus Apple Health, Kontakte, Dateien, Musik. Eine Verbindung braucht nur, was die Außenwelt braucht: Websuche, das Lesen einer Webseite, Wetter, Ortssuche und Fahrzeiten, verbundene Dienste wie Notion oder GitHub, Private Cloud Compute und jedes Cloud-Modell, das du mit deinem eigenen Schlüssel hinzufügst. Jeder dieser Punkte steht, samt der Bedingung, unter der er das Netz erreicht, im Register auf der Startseite.
Die Grenzen
Orvena hat kein eigenes Aktivierungswort. iOS reserviert das ständige Zuhören für Siri, deshalb muss ein Assistent eines Drittanbieters geöffnet oder ausgelöst werden: Die Aktionstaste startet eine Sprachsitzung, und wenn du zu Siri "Frag Orvena" sagst, übergibt Siri Orvena eine einzelne Frage. Das Modell ist kleiner als die Modelle hinter Cloud-Assistenten, und bei langer Recherche oder in einem Spezialgebiet merkst du das; für das, was man ein Telefon laut fragt, den Terminplan, das Wetter, eine Erinnerung, ein Foto, einen Wecker, der die Fahrzeit einrechnet, hat es die richtige Größe. Der Sprachmodus braucht ein iPhone 15 Pro oder neuer mit 8 GB Arbeitsspeicher, weil das Sprachmodell ihn braucht. Und welche Sprachen Orvena verstehen kann, hängt von Apples Spracherkennung auf dem Gerät ab, die Bulgarisch, Estnisch, Lettisch, Litauisch und Slowenisch noch nicht abdeckt: Orvena liest und schreibt diese Sprachen, wenn du tippst, versteht sie aber nicht, wenn du sie sprichst. Die Sprachauswahl bietet nur Sprachen an, die Orvena sowohl verstehen als auch sprechen kann.
Die optionale Cloud-Stimme
Wenn du einen OpenAI-Schlüssel hast, kannst du stattdessen eine Live-Sprachsitzung mit dem Realtime-Modell von OpenAI führen. Sie ist im Hin und Her schneller, und im Gegenzug wird dein Audio zu OpenAI gestreamt. Orvena bittet vor dem Start der Sitzung um deine Zustimmung, fragt erneut, wenn die Unterhaltung bereits Gesundheits- oder Finanzdaten enthält, und beschriftet den Sprachbildschirm in Gelb mit "Cloud" statt in Grün mit "auf diesem iPhone", sodass du immer weißt, in welchem Modus du bist.
Häufige Fragen
Braucht der Sprachmodus von Orvena eine Internetverbindung?
Nein, sobald die Sprachpakete auf dem Telefon sind, dazu Orvenas eigenes Modell, falls du es statt Apple Intelligence nutzt, und iOS die Spracherkennung für deine Sprache beim ersten Sprechen geladen hat. Erkennung, Antwort und Sprachausgabe laufen auf dem Telefon, außer du hast Private Cloud Compute oder ein Cloud-Modell gewählt. Nur Anfragen, die die Außenwelt brauchen, etwa eine Websuche oder das Wetter, nutzen das Netz, und nur, wenn du fragst.
In welchen Sprachen kann ich mit dem Assistenten sprechen?
In 26 seiner 31 Sprachen und auf Norwegisch. Apples Spracherkennung auf dem Gerät deckt Bulgarisch, Estnisch, Lettisch, Litauisch und Slowenisch noch nicht ab, daher versteht und schreibt Orvena diese Sprachen, wenn du tippst, kann darin aber nicht zuhören. Die Ratgeber zum Sprachassistenten behandeln jede Sprache einzeln.
Kann ich Orvena unterbrechen, während es spricht?
Ja. Fang an zu sprechen, und seine Stimme wird leiser, während es erkennt, was du gemeint hast. Nach einem "mhm" redet es weiter, bei "warte" oder "stopp" hört es auf, und eine neue Frage beantwortet es sofort. Wenn die Modelle dafür noch nicht geladen werden konnten, funktioniert der Sprachmodus trotzdem und zeigt "Unterbrechen ist vorerst aus. Orvena richtet es fertig ein, wenn du den Sprachmodus das nächste Mal startest."
Kann ich AirPods oder ein Bluetooth-Headset verwenden?
Ja. Sprachsitzungen erlauben sowohl das Bluetooth-Freisprechprofil als auch Stereoprofile, andernfalls wird der eingebaute Lautsprecher verwendet.
Ist der Sprachmodus kostenlos?
Tippen ist kostenlos und ohne Limits. Sprachunterhaltungen gehören zu Premium Unlock, einem Einmalkauf für 14,99 $ ohne Abo.
Warum gibt es kein Aktivierungswort?
iOS erlaubt nur Siri, im Hintergrund zuzuhören. Du kannst zu Siri "Frag Orvena" sagen, dann fragt Siri, was du wissen möchtest, oder eine Sprachsitzung über die Aktionstaste, über Kurzbefehle oder über die Wellenform-Taste in der App starten.
Orvena ist kostenlos im App Store für iPhone 15 Pro und neuer. Sprachunterhaltungen gehören zum einmaligen Premium Unlock.
Im App Store laden