Na spustenie LLM potrebujete výkonný počítač, ako výkonný ale má byť?
Web www.localscore.ai má benchmarkový test LLM modelov, ktorý je zadarmo a ukáže vám výkon vášho počítača. Na výber sú dva modely Llama a jeden Qwen. Celkovo máte tri verzie na výber podľa veľkostí parametrov (1B, 8B, 14B). Na základe vašej kapacity RAM si môžete vybrať odpovedajúci model a vyskúšať ho na počítači.
Vytvorenie predstavy o výkone vašej zostavy si vytvoríte aj porovnaním doterajších testov. Všetky sú zoradené pod sebou, kde v niekoľkých kategóriách vidíte výsledky. Základom je silná grafická karta a dostatok VRAM.
Zdroj: TOUCHITAI sa dá použiť aj s integrovanou grafikou a úlohu spracovania AI na seba preberie procesor. Všetky tieto údaje sú vidieť na webe projektu. Podstatné ale je, že rovnaký test sa dá spustiť aj na vašom počítači. Netreba nič zložito konfigurovať. Stiahnete si aplikáciu LocalScore a vybraný jazykový model v upravenom formáte gguf. Použiť môžete aj vlastný a podľa návodu na tejto stránke k nemu dopíšete v príkazovom riadku cestu.
Na spustenie LocalScore a niektorého z jeho modelov nepotrebujete nič konfigurovať. Umiestnite oba súbory do jedného adresára. Príkazový riadok nastavte cez príkaz cd na adresár, kde je aplikácia stiahnutá. Podľa stiahnutého modelu skopírujte z webu príkaz na spustenie.
Na dokončenie testu si budete musieť počkať niekoľko minút, celková rýchlosť závisí od testovaného počítača. Zatiaľ nemá AI na Windows širokú podporu tak ako na macOS. Je bežné, že aj procesor s NPU pri mnohých testoch nebude používať túto jednotku a zaťaženie sa podľa Správcu úloh prejaví len na vyťažení jadier.
Zdroj: TOUCHITZdroj: LocalScore
Prečítajte si aj:
