Aplikácia na súkromnú AI v mobile off-line
Aplikácia Off Grid využíva výpočtový výkon vášho smartfónu a nepripája sa na internet.
Na rozdiel od bežných AI na generovanie textu, ktorý vyžadujú on-line pripojenie, tu máte aplikáciu, ktorá využíva len procesor alebo grafické jadro vo vašom smartfóne. Je vhodná aj na generovanie obrázkov cez technológiu Stable Diffusion.
Základom je čo najviac kapacity RAM, ale nemusíte mať najdrahší mobil. Na základe testu, ktorý aplikácia vykoná, odporučí stiahnutie konkrétnych LLM a obrázkových modelov. Podobne funguje aj aplikácia od Googlu.
Vysoká spotreba batérie
Hlavným prínosom je súkromie, no neznamená to, že budete môcť vytvárať a dostávať odpovede na čokoľvek. Aplikácia ponúka rôzne modely ale ide o upravené modely z oficiálne dostupných zdrojov a teda nepatria medzi tzv. necenzurované. Tie si môžete stiahnuť dodatočne.
Dokonca môžete využiť praktickú funkciu a to automatickú úpravu vašich príkazov, napríklad na čo najlepšie vygenerovanie žiadaného obrázka. Ak sa pokúsite vygenerovať obrázok, ktorý model z bezpečnostných dôvodov vytvoriť odmietne, vytvorí sa akási zvláštna náhrada polo abstraktného obrázku.
Nevýhodou je, že nedostanete odpoveď skôr, ako je obrázok hotový a miniete svoj čas ale najmä batériu. Počítajte s ubúdaním v percentách počas niekoľkých minút používania. Toto naozaj odčerpá energiu z nabitej batérie.
Texty, obrázky, hlas
Aplikácia podporuje modely ako Qwen 3, Llama 3.2, Gemma 3 a Phi-4, pričom môžete načítať aj vlastné súbory vo formáte .gguf. Tie nájdete napríklad na serveri HuggingFace.
Na výkonných smartfónoch s čipmi Snapdragon 8 Gen 2/3 alebo Apple A17 Pro dokáže systém generovať text rýchlosťou 15 až 30 tokenov za sekundu. Vďaka NPU akcelerácii (ak ju máte procesorom podporovanú) trvá vytvorenie obrázka na výkonných procesoroch 5 až 15 sekúnd.
Využiť môžete aj zadávanie hlasom a to cez lokálny model Whisper. Umožňuje prepis reči v reálnom čase. Okrem toho aplikácia podporuje aj extrakciu obsahu z PDF dokumentov, CSV súborov a zdrojových kódov.
Zdroj: Off Drig / GitHub
Prečítajte si aj:
Podobné články
VIGX π Plus: Exoskelet, ktorý vám pomôže kráčať ďalej a ľahšie
WhatsApp čoskoro umožní naplánovanie správ na neskôr
Microsoft Edge ukončí funkciu na ochranu hesiel a presunie ju na systém
Gemini má nový model na vytváranie AI videa
Galaxy S26: Bixby, Gemini aj Perplexity v jednom systéme
ChatGPT zavádza novú ochranu. Vo firmách bude fungovať inak