7. augusta 2025 • 2m čítanie

Nové lokálne AI modely od OpenAI bežia najrýchlejšie na NVIDIA RTX

NVIDIA oznámila spoluprácu s OpenAI, nové modely gpt-oss si môžete naplno užiť na počítačoch s grafickými kartami GeForce RTX.

Spoločnosť OpenAI sprístupnila nové špičkové open-source AI modely gpt-oss, ktoré prinášajú výkon, ktorý bol donedávna dostupný len v cloudových dátových centrách. Vďaka novým modelom môžete tento AI výkon využívať aj lokálne, offline, priamo na vašich počítačoch.

Vďaka spolupráci medzi NVIDIA a OpenAI bežia nové modely najlepšie na počítačoch s grafickými kartami GeForce RTX. K dispozícii sú dve varianty modelov:

gpt-oss-20b je navrhnutý pre AI počítače s aspoň 16 GB VRAM. Na grafickej karte GeForce RTX 5090 zvláda až 250 tokenov za sekundu
gpt-oss-120b je určený pre profesionálne pracovné stanice s grafickými kartami RTX PRO

Oba modely boli trénované na výkonných grafických kartách NVIDIA H100 a ako prvé podporujú nový formát MXFP4, ktorý zlepšuje kvalitu a presnosť výstupu bez dopadu na výkon. Podporujú tiež rozsiahly kontext až 131 072 tokenov, čo je jedna z najvyšších hodnôt dostupných pre lokálne inferencovanie.

AI modely gpt-oss sú založené na modernej architektúre mixture-of-experts (MoE) a zvládajú pokročilé funkcie ako chain-of-thought, inštrukčné zadania či prácu s nástrojmi.

Ako používať modely gpt-oss lokálne na počítači

V rámci iniciatívy RTX AI Garage ukazuje NVIDIA niekoľko spôsobov, ako môžu vývojári a technologickí nadšenci začať využívať tieto nové modely:

Aplikácia Ollama – najjednoduchší spôsob, ako si vyskúšať gpt-oss modely. Ponúka intuitívne rozhranie s optimalizáciou pre RTX GPU.
Llama.cpp – NVIDIA spolupracuje s open-source komunitou na optimalizácii výkonu, vrátane podpory pre CUDA Graphs na zníženie latencie. Llama.cpp nájdete na GitHube.
Microsoft AI Foundry – používatelia Windows môžu modely spustiť cez funkciu Microsoft AI Foundry Local, ktorá je aktuálne dostupná vo verejnom náhľade. Spustenie modelu prebieha cez jednoduchý príkaz: foundry model run gpt-oss-20b

Podrobné informácie o tom, ako začať používať modely gpt-oss na grafických kartách GeForce RTX, nájdete na blogu RTX AI Garage.

Zdroj: NVIDIA

Prečítajte si aj: