Kombinácia robotiky a umelej inteligencie (AI) môže prinášať oveľa viac, ako len humanoidné roboty zo sci-fi filmov. Napríklad, môžete si predstaviť, že hráte futbal s robotmi. To znie celkom dobre, že? Avšak, ako naučiť robota hrať futbal, keďže nevie ani chodiť, a už vôbec nie behať a kopnúť loptu do bránky? Riešením môže byť práve AI a Webots – 3D robotické ihrisko, ktoré slúži na návrh a tvorbu vlastných robotov a prostredí. Sami si môžete vybrať, ako budú vyzerať, pohybovať sa a komunikovať s prostredím. Je to v podstate ako Sims pre robotov.
Ako tím sme sa snažili navrhnúť robotov hrajúcich futbal, ktorí sa dokážu učiť a zlepšovať svoje zručnosti prostredníctvom pokusov a omylov s využitím posilňovaného učenia (RL). Inak povedané, keď spravia niečo dobre, dostanú odmenu, ak urobia chybu, tak dostanú trest. Bavíme sa o pozitívnych a negatívnych bodoch, samozrejme žiadne násilie.
Rozdelili sme sa do troch skupín, s cieľom otestovať rôzne prístupy RL. Prvá skupina sa zaoberala klasickým pokusom a omylom. Tieto roboty sa učili robením chýb – presne tak, ako to robíme my ľudia, keď sa snažíme naučiť niečo nové. Druhá skupina bola trochu viac high-tech. Pomocou predtrénovania poskytla robotom určité počiatočné znalosti predtým, ako sa začali učiť prostredníctvom RL. A napokon tretia skupina využívala Deepbots framework. Je to akoby trochu podvádzali, pretože používali vopred definované funkcie a štruktúry, ktoré im pomáhali pri učení. Ale hej, niekedy musíte použiť všetky nástroje, ktoré máte, však?
Porovnaním výsledkov jednotlivých skupín sme zistili ktorý prístup bol pri učení robotov najefektívnejší. Vyhral prístup s použitím frameworku Deepbots, ktorý sa ukázal nielen nákladovo, ale aj časovo najefektívnejší spôsob. Ak by sme mali zhodnotiť tento prístup s pomocou emoji, určite by to bolo 🤖💪.
Aby sme sa vyhli dojmu, že sme sa celý čas iba hrali, vytvorenie efektívneho RL agenta bolo celkom náročné, nakoľko jednou z najväčších výziev bolo navrhnutie systému odmeňovania, ktorý by skutočne fungoval. Aby sme sa vyhli akýmkoľvek zmätkom alebo nezrovnalostiam medzi skupinami, vytvorili sme skript, ktorý obsahuje zoznam všetkých možných odmien, ktoré môže robot získať.
Naším cieľom bolo ukázať úžasnú silu integrácie modelov strojového učenia do simulátora Webots, konkrétne so zameraním na prístupy RL. Ako tím sme dosiahli pomerne dobré výsledky ktoré dokazujú, že je to možné.
A aby toho nebolo málo, ako tím sme všetky získane poznatky integrovali do webovej stránky, prostredníctvom ktorej si každý môže vyklikať vlastnú neurónovú sieť a vyskúšať si tak rôzne metriky, pozorovania a prostredia a zamyslieť sa nad tým, čo je pre robota najdôležitejšie a ako sa môže čo najlepšie učiť. Najlepšie na našej stránke je ale to, že vaša neurónová sieť je natrénovaná a vyhodnotená na našom serveri. Následne si môžete porovnať svoje výsledky s ostatnými navrhovateľmi a zistiť, kto dosiahol najlepší výsledok. Môžete sa tiež snažiť svoje pokusy vylepšovať a obsadiť prvé miesto v tabuľke!
Pozrite si to na našej stránke https://team11-22.studenti.fiit.stuba.sk/simulacia/ a kopnite si s nami!
Tento projekt vyvíjame ako tím študentov Fakulty informatiky a informačných technológií STU v Bratislave v zložení : Bc. Matej Bagar, Bc. Katarína Bielčiková, Bc. Andrei Cherkas, Bc. Michaela Hanková, Bc. Jana Boženka Liptak, Bc. Lucia Mandová, Bc. Silvia Šimoníková pod pedagogickým vedením Ing. Martin Komák, PhD..