AI na uređaju ili AI u oblaku: što se za vas zapravo mijenja
Razlika između AI-ja na uređaju i AI-ja u oblaku svodi se na jednu činjenicu: gdje model radi. Sve ostalo (privatnost, cijena, brzina, ono što model može) proizlazi iz toga. Ovo je usporedba s korisnikove strane zaslona, sa stvarnim brojkama ondje gdje ih imamo.
Dva pristupa
Kod AI-ja u oblaku vaša poruka putuje u podatkovni centar, ondje odgovara vrlo velik model, a odgovor putuje natrag. Kod AI-ja na uređaju poruka ostaje na telefonu i ondje odgovara manji model. Orvena je druge vrste: na GPU-u iPhonea pokreće Qwen 3.5 4B, jednokratno preuzimanje od 3,1 GB, a na sustavu iOS 27 može odgovarati i uz Apple Intelligence, Appleov model na uređaju, bez ikakvog preuzimanja.
AI na uređaju i AI u oblaku, jedno uz drugo
| Na uređaju (Orvena) | Oblak (ChatGPT i slični) | |
|---|---|---|
| Kamo idu vaše riječi | Nikamo. Model je na telefonu. | Na poslužitelje pružatelja usluge. |
| Račun | Nema ga. | Obično, zbog povijesti, naplate i ograničenja; ChatGPT ima ograničeni način rada bez prijave. |
| Radi bez mreže | Da, uključujući alate telefona. | Ne. |
| Kašnjenje | Nema putovanja mrežom i natrag. Odgovor se prikazuje dok nastaje. | Mreža plus red čekanja; ovisi o opterećenju. |
| Veličina modela | Oko 4 milijarde parametara za vlastiti model aplikacije Orvena. | Stotine milijardi. |
| Memorija razgovora | 16.384 tokena, oko 12.000 riječi, s vlastitim modelom aplikacije Orvena. Na sustavu iOS 27 Apple Intelligence prijavljuje 8.192, iako Appleova dokumentacija i dalje navodi 4.096. | Mnogo veća. |
| Cijena | Asistent je besplatan, uključujući Apple Intelligence na sustavu iOS 27. Jedna kupnja od 14,99 USD za glas, veze, zakazane zadatke, Private Cloud Compute na sustavu iOS 27 i modele u oblaku s vašim ključem. | Od 0 do 200 USD mjesečno za pakete ChatGPT-a; 20 USD za Plus. |
| Potreban telefon | iPhone 15 Pro ili noviji, 8 GB memorije. | Bilo koji telefon. |
| Kad se pravila promijene | Za vaše prošle razgovore ništa se ne mijenja. | Vrijedi ono što nova pravila kažu o pohranjenim razgovorima. |
Što AI na uređaju radi dobro
Zahtjeve koje ljudi zaista upućuju telefonu. "Prebaci moj sastanak u 3 popodne na četvrtak ujutro." "Postavi alarm tako da sutra do 2 popodne budem u zračnoj luci, računajući vrijeme putovanja." "Večeras u 9 usporedi sutrašnje vrijeme s mojim prvim sastankom." "Što vidiš na ovoj fotografiji?" Model veličine prikladne za telefon, vlastiti model aplikacije Orvena ili Apple Intelligence, obrađuje jezik; alati samog telefona obavljaju posao s kalendarom i alarmom, a Apple Karte daju vrijeme putovanja; unos u kalendaru i fotografija razumiju se na uređaju i ne šalju se nikamo na čitanje.
Gdje je oblak bolji
U razmjerima. Model iz podatkovnog centra zna više, dulje rasuđuje, bolje piše i u kontekst može primiti dokument dug kao knjiga. Za duga istraživanja, specijalizirano područje ili pisanje koje mora biti izvrsno, a ne samo dobro, osjetit ćete razliku, a nikakav inženjerski trud na telefonu danas ne zatvara taj jaz. Usluge u oblaku dodaju i značajke kojima treba infrastruktura, poput agenata koji po nekoliko minuta pregledavaju web.
Hibrid, pažljivo izveden
Ne morate birati jednom zauvijek. Stranica Modeli u aplikaciji Orvena navodi svaki mehanizam koji može koristiti: pod Ugrađeno, Apple Intelligence na sustavu iOS 27; pod Modeli na uređaju, vlastiti preuzeti model aplikacije Orvena; a pod Oblak, Appleov Private Cloud Compute na sustavu iOS 27, bez postavljanja ključa i s dnevnim ograničenjem koje određuje Apple, ili bilo koji OpenRouter model s vašim vlastitim ključem. Zadana postavka mehanizma, Automatski (u Postavkama pod Napredno), koristi vaš preuzeti model ili Apple Intelligence dok nijedan preuzeti model nije spreman i nikad sama ne prelazi u oblak. Uz OpenRouter, Orvena prije prvog zahtjeva u oblak unutar razgovora pita smije li taj razgovor i njegove rezultate alata poslati pružatelju. Private Cloud Compute pita jednom, kad ga odaberete. U oba slučaja Orvena za podatke o zdravlju ili financijske podatke svaki put ponovno traži odobrenje. Glasovni zaslon pokazuje u kojem ste načinu rada: "na ovom iPhoneu" zelenom bojom, "oblak" narančastom.
Kako odlučiti
Zapišite posljednjih deset stvari koje ste pitali asistenta. Ako se većina odnosila na vaš vlastiti život (raspored, fotografije, poruku koju ste pisali, mjesto u blizini), AI na uređaju prava je zadana opcija: podaci su osobni, a zadaci su posve u dosegu modela veličine prikladne za telefon. Ako je većina bila istraživanje ili dulje pisanje, dio vremena želite pristup oblaku, idealno kao izbor koji donosite za svaki zahtjev, a ne kao jedini način rada koji postoji.
Česta pitanja
Je li AI na uređaju sporiji od AI-ja u oblaku?
Po tokenu je telefon sporiji od GPU-a u podatkovnom centru, ali nema čekanja na mrežu, a odgovor se prikazuje dok nastaje, pa se kratki odgovori čine trenutačnima. Na telefonu dulje traje čitanje dugog razgovora prije nego što odgovor počne.
Je li Private Cloud Compute privatan koliko i AI na uređaju?
Ne na isti način. Radi na Appleovim poslužiteljima, pa zahtjev napušta telefon i treba mu internetska veza. Apple kaže "Podaci koji se obrađuju u sustavu Private Cloud Compute ne pohranjuju se niti se čine dostupnima tvrtki Apple" i da "neovisni istraživači privatnosti i sigurnosti mogu u bilo kojem trenutku potvrditi ovo obećanje za privatnost." Na uređaju u razgovoru nema poslužitelja za koji bi trebalo davati takvo obećanje.
Troši li pokretanje AI-ja na telefonu bateriju?
Kratko pitanje troši vrlo malo. Dugi glasovni razgovor zagrijava telefon kao igra i u skladu s tim troši bateriju. Ništa ne radi u pozadini osim odgovora koji ste već pokrenuli.
Može li AI na uređaju i dalje pretraživati web?
Da. Kad zatražite aktualne informacije, upit odlazi pružatelju pretraživanja, kao što bi otišao i iz preglednika, a čitanje i sažimanje odvijaju se na telefonu.
Orvena pokreće svoj model na iPhoneu i omogućuje vam da odaberete Appleov Private Cloud Compute ili model u oblaku s vlastitim ključem kad to zahtjev traži.
Preuzmite u trgovini App Store