Prečo sa nepoužíva NPU v počítači pri AI?

Notebooky s NPU nefungujú na plný výkon, môže za to chýbajúca optimalizácia.

Bežne používaný softvér ako LM Studio alebo Ollama nepoužíva NPU na procesore. Analyzovať výkon počítača a jeho komponentov môžete cez Správcu úloh. V ňom budete vidieť, že pri hľadaní riešenia v AI nástroji, bude vyťažená RAM a CPU. Neurónová jednotka bude s najväčšou pravdepodobnosťou bez zapojenia.

Týka sa to najmä procesorov Intel Core Ultra Series 2 alebo napríklad Qualcomm Snapdragon. Pri tom sú to procesory, vďaka ktorým môže mať vášho počítač prívlastok Copilot+ PC. Problémom je softvér, ktorý na x64 alebo ARM architektúre nedokáže na svoje úlohy zapojiť NPU. Windows 11 zatiaľ nedokáže rozdeľovať vykonávanie úloh na vybrané jadrá s AI. Dokáže manažovať úlohy pre výkonné a úsporné jadrá.

Procesory Snapdragon potrebujú na plné využitie knižnice z balíka Qualcomm Neural Processing SDK. Tie sa dajú po registrácii stiahnuť na stránkach výrobcu. Aplikácia AnythingLLM už podporuje ARM od Snapdragonu, no zatiaľ iba v testovacej fáze. Aplikácia sa dá stiahnuť nielen pre Windows ale aj macOS a Linux.

Problém s kompatibilitou je známy aj pri použití lokálneho nástroja Stable Diffusion. Podľa toho, či ho chcete použiť na počítači s kartou NVIDIA RTX alebo využívať konfiguráciu bez samostatnej grafickej karty. Viac o použití Stable Diffusion nájdete tu.