Použite EmbeddingGemma 2 od Googlu lokálne vo vašom smartfóne
Zdroj: Google
• 2m čítanie

Použite EmbeddingGemma 2 od Googlu lokálne vo vašom smartfóne

Google má nový model s názvom EmbeddingGemma 2.

Google Pridajte si TOUCHIT.sk ako preferovaný zdroj informácií
Pridať

Dokáže vyhľadávať v obrázkoch, videách aj zvuku priamo v zariadení a jeho silnou stránkou je možnosť lokálneho behu na bežných smartfónoch a notebookoch. Všetky uvedené multimodálne typy dát prevedie do jedného vektorového priestoru. Vývojári ho môžu použiť v aplikáciách aj bez potreby mať internetové pripojenie.

EmbeddingGemma 2 je z rodiny modelov Google Gemma a má 740 miliónov parametrov. Pri textovom modeli spotrebuje iba približne 191 MB RAM, zatiaľ čo kompletný multimodálny model potrebuje približne 567 MB RAM. Google tieto hodnoty uviedol pri testovaní s Pixel 11 Pro.

Vyhľadávanie v obrázkoch

Jednou z praktických možností je vyhľadávanie fotografií a videí priamo v smartfóne. Stačí zadať textový príkaz a model vyhľadá relevantné súbory v lokálnej knižnici.

Vyhľadávanie funguje aj naopak. Používateľ môže vybrať fotografiu alebo použiť obraz z fotoaparátu a model následne nájde vizuálne podobný obsah. Spracovanie prebieha priamo v zariadení, takže fotografie nemusia opustiť telefón.

V aplikácii Google AI Edge Gallery si môžete nový model vyskúšať a používať ho. Na plné fungovanie musíte udeliť prístup k vášmu multimediálnemu obsahu, ktorý sa vzápätí analyzuje.

EmbeddingGemma 2 edge gallery
EmbeddingGemma 2 edge gallery
•Zdroj: Google

Funguje aj s videom

EmbeddingGemma 2 podobne funguje aj pri video obsahu. Funkcia Video Moments Finder najprv lokálne vytvorí index obrazových a zvukových častí videa. Potom cez prompt zadáte, čo chcete vo videu vyhľadať. Výhodou je, že sa pri tomto procese sa nemusí najskôr vytvoriť textový prepis videa ani titulky a model dokáže porovnávať multimodálne súbory priamo.

Zdroj: Google

Prečítajte si aj: