10. februára 2025 • 2m čítanie

Prečo sa nepoužíva NPU v počítači pri AI?

Notebooky s NPU nefungujú na plný výkon, môže za to chýbajúca optimalizácia.

Pridajte si TOUCHIT.sk ako preferovaný zdroj informácií

Bežne používaný softvér ako LM Studio alebo Ollama nepoužíva NPU na procesore. Analyzovať výkon počítača a jeho komponentov môžete cez Správcu úloh. V ňom budete vidieť, že pri hľadaní riešenia v AI nástroji, bude vyťažená RAM a CPU. Neurónová jednotka bude s najväčšou pravdepodobnosťou bez zapojenia.

Týka sa to najmä procesorov Intel Core Ultra Series 2 alebo napríklad Qualcomm Snapdragon. Pri tom sú to procesory, vďaka ktorým môže mať vášho počítač prívlastok Copilot+ PC. Problémom je softvér, ktorý na x64 alebo ARM architektúre nedokáže na svoje úlohy zapojiť NPU. Windows 11 zatiaľ nedokáže rozdeľovať vykonávanie úloh na vybrané jadrá s AI. Dokáže manažovať úlohy pre výkonné a úsporné jadrá.

Procesory Snapdragon potrebujú na plné využitie knižnice z balíka Qualcomm Neural Processing SDK. Tie sa dajú po registrácii stiahnuť na stránkach výrobcu. Aplikácia AnythingLLM už podporuje ARM od Snapdragonu, no zatiaľ iba v testovacej fáze. Aplikácia sa dá stiahnuť nielen pre Windows ale aj macOS a Linux.

Problém s kompatibilitou je známy aj pri použití lokálneho nástroja Stable Diffusion. Podľa toho, či ho chcete použiť na počítači s kartou NVIDIA RTX alebo využívať konfiguráciu bez samostatnej grafickej karty. Viac o použití Stable Diffusion nájdete tu.