Práca s AI na vlastnom počítači lokálne by mohla byť doménou budúcnosti.
Zatiaľ sa tak ukazuje aj na základe potrieb Windows 11, ktoré na používanie funkcie Recall vyžadujú neurónovú jednotku s výkonom 40 TOPS. To zatiaľ zabezpečujú procesory a integrované grafické čipy alebo externé grafické karty.
S čipom Qualcomm Cloud AI 100 sa situácia mení a používanie umelej inteligencie lokálne, teda bez internetu a so zachovaním súkromia, je reálne viac ako kedykoľvek predtým.
Niežeby doteraz reálne nebolo, no potrebovali by ste na takúto činnosť super počítač vo forme herného notebooku alebo špecializovanej pracovnej stanice s dostatkom GB grafickej pamäte, prípadne stolný počítač. Za rozumné minimum sa dá považovať 64 GB. Na trhu je aktuálne notebook Dell Pro Max Plus, ktorý má v sebe čip Qualcomm AI 100.
Zdroj: DellÚsporný aj výkonný
Vyššie uvedený špecializovaný čip by nebol závislý na použitom procesore alebo na výkonnej grafickej karte. Aktuálne ich má výrobca v ponuke 5, pričom najmenej výkonný s názvom Standard AI 80 má spotrebu 75 wattov a dosahuje až 190 TOPS. Ide o základný čip so 16 GB DRAM.
Zatiaľ najvýkonnejší model v ponuke označený ako a 100 Ultra má spotrebu až 150 W a výkon až 870 TOPS. Tento čip má vlastných 128 GB DRAM. Na stránke Qualcommu nájdete tabuľku s detailným podpisom technických špecifikácií.
Nástroje využívajúce umelú inteligenciu ako napríklad LLM alebo generovanie obrázkov si môžete spustiť na akomkoľvek počítači. Problém je výkon a to, že by ste na analýzu a výsledky čakali desiatky minút.
AI teda nie je niečo na čo potrebujete. Z technického hľadiska špeciálnu zostavu alebo najnovšie procesory. No potrebujete neurónovú jednotku a vysoký výkon. Ten v súčasnosti najviac dodávajú grafické karty NVIDIA alebo AMD.
Umelú inteligenciu si môžete spustiť aj na smartfóne prostredníctvom špecializovaných aplikácií, no tie zväčša pracujú s cloudovým výpočtovým centrom. Nájdete tu však aj také, ktoré sú zamerané na lokálne použitie. Počítajte s tým, že ide o menšie jazykové modely vhodné na každodenné úlohy, nie však na hĺbkové analýzy.
Zdroj: Qualcomm
Prečítajte si aj:
