Seadmesisene AI vs pilvepõhine AI: mis sinu jaoks tegelikult muutub
Seadmesisese ja pilvepõhise AI erinevus taandub ühele faktile: kus mudel töötab. Kõik muu tuleneb sellest: privaatsus, hind, kiirus ja see, mida mudel suudab. See on võrdlus kasutaja vaatenurgast, ja tegelike arvudega seal, kus need on olemas.
Kaks ülesehitust
Pilvepõhise AI puhul liigub sinu sõnum andmekeskusesse, seal vastab väga suur mudel ja vastus liigub tagasi. Seadmesisese AI puhul jääb sinu sõnum telefoni ja seal vastab väiksem mudel. Orvena kuulub teise liiki: ta käitab iPhone'i GPU-l mudelit Qwen 3.5 4B, mis on ühekordne 3,1 GB allalaadimine, ja iOS 27-s saab ta vastata ka Apple'i seadmesisese mudeliga Apple Intelligence, ilma midagi alla laadimata.
Seadmesisene ja pilvepõhine AI kõrvuti
| Seadmes (Orvena) | Pilves (ChatGPT ja sarnased) | |
|---|---|---|
| Kuhu sinu sõnad lähevad | Mitte kuhugi. Mudel on telefonis. | Pakkuja serveritesse. |
| Konto | Pole. | Tavaliselt jah, ajaloo, arvelduse ja limiitide jaoks; ChatGPT-l on piiratud režiim ilma sisselogimiseta. |
| Töötab võrguühenduseta | Jah, ka telefoni tööriistad. | Ei. |
| Latentsus | Võrgu edasi-tagasi teekonda pole. Vastus ilmub jooksvalt, kirjutamise ajal. | Võrk pluss järjekord; sõltub koormusest. |
| Mudeli suurus | Orvena enda mudelil umbes 4 miljardit parameetrit. | Sadu miljardeid. |
| Vestluse mälu | Orvena enda mudelil 16 384 tokenit, umbes 12 000 sõna. iOS 27-s teatab Apple Intelligence 8 192 tokenit, kuigi Apple'i dokumentatsioon ütleb endiselt 4 096. | Palju suurem. |
| Hind | Assistent on tasuta, kaasa arvatud Apple Intelligence iOS 27-s. Üks 14,99-dollarine ost hääle, ühenduste, ajastatud ülesannete, Private Cloud Compute'i (iOS 27) ja sinu võtmega pilvemudelite jaoks. | ChatGPT pakettidel 0 kuni 200 dollarit kuus; Plus maksab 20 dollarit. |
| Vajalik telefon | iPhone 15 Pro või uuem, 8 GB mälu. | Ükskõik milline telefon. |
| Kui reeglid muutuvad | Sinu varasemate vestluste puhul ei muutu midagi. | Kehtib see, mida uued reeglid salvestatud vestluste kohta ütlevad. |
Milles seadmesisene AI on hea
Päringud, mida inimesed telefonile tegelikult teevad. "Tõsta minu kella 3 koosolek neljapäeva hommikule." "Sea äratus, et oleksin homme kell 2 päeval lennujaamas, reisiaega arvestades." "Täna õhtul kell 9 kontrolli homset ilma minu esimese koosoleku suhtes." "Mida sa sellel fotol näed?" Telefoni mõõtu mudel, olgu Orvena enda või Apple Intelligence, tegeleb keelega; telefoni enda tööriistad hoolitsevad kalendri ja äratuse eest ning Apple Maps annab reisiaja; kalendrikirjet ja fotot mõistetakse seadmes ja neid ei saadeta lugemiseks kuhugi.
Kus pilv on parem
Mastaap. Andmekeskuse mudel teab rohkem, arutleb kauem, kirjutab paremini ja suudab hoida kontekstis raamatupikkust dokumenti. Pika uurimistöö, kitsa eriala või teksti puhul, mis peab olema suurepärane, mitte lihtsalt hea, tunned erinevust, ja praegu ei suuda ükski insenerilahendus telefonis seda vahet kaotada. Pilveteenused lisavad ka funktsioone, mis vajavad taristut, näiteks agente, mis sirvivad veebi minuteid järjest.
Hoolikalt tehtud hübriid
Sa ei pea valima ühe korra ja jäädavalt. Orvena Mudelite lehel on kõik mootorid, mida ta kasutada saab: jaotises Sisseehitatud Apple Intelligence iOS 27-s; jaotises Seadmes olevad mudelid Orvena enda allalaaditud mudel; ja jaotises Pilv Apple'i Private Cloud Compute iOS 27-s, mida pole vaja seadistada ja millel on Apple'i määratud päevalimiit, või mis tahes OpenRouteri mudel sinu enda võtmega. Mootori vaikeseade Automaatne (Seadete jaotises Täpsemalt) kasutab sinu allalaaditud mudelit või funktsiooni Apple Intelligence seni, kuni ükski mudel pole valmis, ega lülitu kunagi ise pilve. OpenRouteri puhul küsib Orvena enne vestluse esimest pilvepäringut, kas saata see vestlus ja selle tööriistade tulemused pakkujale. Private Cloud Compute küsib ühe korra, kui selle valid. Mõlema puhul küsitakse tervise- või finantsandmete kohta iga kord uuesti. Häälekuva näitab, millises režiimis oled: rohelise kirjaga "selles iPhone'is", merevaigukollase kirjaga "pilv".
Kuidas valida
Kirjuta üles kümme viimast asja, mida assistendilt küsisid. Kui enamik neist puudutas sinu enda elu, ajakava, fotosid, sõnumit, mida kirjutasid, või mõnda lähedal asuvat kohta, kuhu minna, on seadmesisene AI õige vaikevalik: andmed on isiklikud ja ülesanded jäävad telefoni mõõtu mudeli võimete piiresse. Kui enamik oli uurimistöö või pikk kirjutamine, vajad aeg-ajalt ligipääsu pilvele, ideaalis valikuna, mille teed iga päringu kohta, mitte ainsa olemasoleva režiimina.
Korduma kippuvad küsimused
Kas seadmesisene AI on aeglasem kui pilvepõhine AI?
Tokeni kohta on telefon aeglasem kui andmekeskuse GPU, kuid võrgu ootamist pole ja vastus ilmub jooksvalt, nii et lühikesed vastused tunduvad hetkelised. Telefonis võtab kauem aega pika vestluse lugemine enne vastuse algust.
Kas Private Cloud Compute on sama privaatne kui seadmesisene AI?
Mitte samal moel. See töötab Apple'i serverites, nii et päring lahkub telefonist ja vajab ühendust. Apple ütleb, et "Private Cloud Compute'is töödeldavaid andmeid ei salvestata ega tehta Apple'ile kättesaadavaks" ja et "sõltumatud privaatsus- ja turvauurijad saavad seda privaatsuslubadust igal ajal kontrollida." Seadmesisese AI puhul pole vestluses serverit, mille kohta sellist lubadust anda.
Kas AI käitamine telefonis tühjendab akut?
Lühike küsimus kulutab akut väga vähe. Pikk häälvestlus soojendab telefoni nagu mäng ja kulutab ka vastavalt akut. Taustal ei tööta midagi peale vastuse, mida oled juba alustanud.
Kas seadmesisene AI saab ikkagi veebist otsida?
Jah. Kui küsid värsket teavet, läheb päring otsinguteenuse pakkujale, nagu brauserist, ning lugemine ja kokkuvõtte tegemine toimub telefonis.
Orvena käitab oma mudelit iPhone'is ja laseb sul valida Apple'i teenuse Private Cloud Compute või pilvemudeli sinu enda võtmega, kui päring seda nõuab.
Laadi alla App Store'ist