Kempelenův institut inteligentních technologií (KInIT), první nezávislý výzkumný institut na Slovensku zaměřený na umělou inteligenci, dnes představil na AWS Cloud Day Prague svou iniciativu SlovakLLM. Cílem této iniciativy, podporované společností Amazon Web Services (AWS), je zlepšit schopnosti velkých jazykových modelů (LLM) pro slovenský jazyk, a snížit tak rozdíl oproti jazykům s bohatými zdroji.
Velké jazykové modely (LLM) prokázaly obrovský potenciál napříč různými odvětvími, ale jejich výkonnost se mezi jednotlivými jazyky výrazně liší. Jazyky s bohatými zdroji, jako je angličtina a čínština, často převyšují své protějšky s omezenými zdroji, včetně slovenštiny. Iniciativa SlovakLLM institutu KInIT se rozhodla této nerovnosti čelit zpříma.
„Generativní AI revolučně mění způsob, jakým interagujeme s technologiemi, ale ne každá země může ze současných LLM těžit stejně,“ řekl Martin Tamajka, vedoucí výzkumný inženýr a člen týmu NLP v KInIT. „Prostřednictvím iniciativy SlovakLLM chceme společně s našimi partnery tyto výkonné modely přizpůsobit slovenskému jazyku, a otevřít tak nové možnosti pro inovace napříč různými odvětvími.“
První fáze iniciativy, kterou usnadnily služby společnosti AWS, byla zaměřena na vytváření prototypů, testování a dolaďování různých LLM na vysoce kvalitních slovenských datech. KInIT využil flexibilní výpočetní zdroje spolu s inženýrským know-how společnosti AWS, aby mohl experimentovat s různými strategiemi adaptace modelů, včetně technik parametricky efektivního dolaďování (PEFT).
„Naše spolupráce s AWS nám poskytla výpočetní výkon a nástroje potřebné k získání cenných praktických zkušeností s dolaďováním velkých jazykových modelů,“ dodal Tamajka. „Získali jsme tak pevné základy pro naši budoucí práci na vytvoření jednotného nástroje, který se dokáže přizpůsobit a porovnávat různé modely pro slovenský jazyk, včetně těch, které v dalších letech teprve vzniknou.“
KInIT vidí velký potenciál ve využití služeb jako Amazon SageMaker k zefektivnění svých operací strojového učení, což umožní automatizovaný import dat, bezproblémový trénink modelů a spolehlivou správu. To vše pak zajistí transparentnost a auditovatelnost, jež jsou v rychle se vyvíjejícím prostředí AI zásadní.
Iniciativa SlovakLLM odpovídá poslání institutu KInIT provádět základní výzkum, který je úzce propojený s praktickým výzkumem a s předáváním znalostí. Díky spolupráci s AWS, akademickými institucemi a průmyslovými partnery se KInIT snaží posílit slovenský inovační ekosystém pomocí nejmodernějších řešení umělé inteligence, která jsou přizpůsobena místnímu jazyku a prostředí.
„Je pro nás potěšením podporovat KInIT v jejich úsilí demokratizovat přístup k pokročilým jazykovým AI technologiím,“ řekl Tibor Kolejak, výkonný ředitel AWS pro Českou republiku a Slovensko. „Tento projekt demonstruje potenciál cloud computingu a AI služeb AWS při prosazování inovací a inkluzivního přístupu během vývoje přelomových technologií.“
S postupným vývojem iniciativy SlovakLLM bude KInIT i nadále využívat škálovatelnou infrastrukturu a služby AI a strojového učení od AWS. Díky tomu se přínosy generativní umělé inteligence rozšíří i mimo jazyky s velkými zdroji dat a otevřou nové možnosti pro firmy i výzkumníky na Slovensku.