Google Gemma 2: Odľahčený model. Predbehne Gemini?

Gemma je jazykový model ako odľahčený variant k modelu Gemini.

AI bežiaca v cloudových centrách s vysokou výpočtovou silou nie je riešenie na všetko. Nielen Google ale aj ostatné firmy vedia, že je potrebné priniesť odľahčené verzie schopné bežať na smartfónoch a počítačoch lokálne. Okrem Gemmy 2 má Google aj špecializované modely ako CodeGemma, RecurrentGemma a PaliGemma. Google hovorí, že je výkonnejšia ako Llama 3.

Gemma 2 je uvoľnená celosvetovo pre výskumníkov a vývojárov. Podporuje 9 miliárd (9B) a 27 miliárd (27B) parametrov. Je výkonnejšia ako prvá generácia a obsahuje nové bezpečnostné mechanizmy. Druhá verzia umožňuje bežať aj na samostatnom grafickom čipe NVIDIA H100 alebo A100 80 GB Tensor Core. Podľa webu DataCrunch stojí jeho prevádzka v prenájme 3,17 USD za hodinu a 2,38 USD za hodinu pri dvojročnej zmluve.

Ak hovoríme o úspore energie resp. dosahovaní rýchlych výsledkov, stále potrebujete výkonnú stanicu. Príkladom sú uvedené grafické karty. Nateraz ešte hovoríme o výkonných multimediálnych staniciach alebo herných zostavách. Firmy však naďalej pracujú na modeloch, ktoré pobežia na bežných procesoroch. Podstatné je, aby mali NPU. Tá bude určovať výkon AI aj keď na výkon zostavy pri bežnom používaní nebude mať taký vplyv. Platí to aj pri ostatných modeloch, ako napríklad Gemini.

Google uvoľnil aj praktické príklady, na ktorých sa dá Gemma 2 vyskúšať a naučiť sa ju používať. Je dostupná prostredníctvom Google AI Studio, kde si môžete vyskúšať 27B verziu bez hardvérových požiadaviek.