Teadlased loodavad juuni lõpuks veebilehel baromeeter.ai koguda kasutajate abil vähemalt 50 000 võrdlust, kus hinnatakse tehisaru eri mudelite eesti keele oskust.
Tehisaru baromeetri abil saab teiste hulgas võrrelda GPT, Gemini, Claude’i, Llama ja Mistrali keelemudelite versioone. Baromeetrit võivad kasutada kõik, kes huvituvad tehisaru arengust ja eesti keele käekäigust.
Tartu Ülikooli arvutiteaduse instituudi keeletehnoloogia kaasprofessor Kairit Sirts ütles, et baromeeter aitab suurendada teadlikkust keelemudelite erinevast kvaliteedist ja julgustab kasutama tekstiroboteid eesti keeles.
„Veebilehel saab sisestada viiba, millele vastavad kaks anonüümset keelemudelit. Kasutajal on võimalik valida parem vastus, misjärel näeb ka mudelite nimesid. Hinnangute põhjal kujuneb ühise töö tulemusena pidevalt uuenev edetabel,“ selgitas Sirts. Võrdluses olevate keelemudelite valikut täiendatakse uuringu käigus. See annab võimaluse jälgida, kuidas uued mudelid võrreldes vanematega eesti keeles hakkama saavad.
Praegused tekstirobotid töötavad kõige paremini inglise keeles ning nende eesti keele oskust ja teadmisi eesti kultuuri kohta on keeruline hinnata. Üks võimalus seda teha ongi lasta just kasutajatel endil kahe mudeli vastuseid omavahel võrrelda.
Tallinna Ülikooli tehisaru ja digihumanitaaria külalislektor Krister Kruusmaa ütles, et baromeetri kasutajatel on küsimuste valikul täiesti vabad käed. „Parima tulemuse saamiseks vajavad teadlased võimalikult palju ja mitmekesist sisendit. Küsimuste esitamisel võib olla loominguline. Kui kohe häid ideid ei tule, võib alustuseks küsida abi millegi praktilisega või siis hoopis uurida midagi enda kodukandi kohta,“ soovitas ta.
Esitatud küsimusi saavad teadlased hiljem kasutada andmestiku loomiseks, et parandada ka vabavaraliste keelemudelite eesti keele oskust. Baromeetri kasutamise teeb lõbusaks see, et tihti kipuvad nõrgemate mudelite vastused olema üksjagu koomilised. „Kutsume üles naljakaid ja huvitavaid vastuseid ka teistega jagama!“ lisas Kruusmaa.
Tehisaru baromeetri on välja töötanud Tartu Ülikooli arvutiteaduse instituudi kaasprofessor Kairit Sirts, nooremteadurid Hele-Andra Kuulmets ja Aleksei Dorkin ning Tallinna Ülikooli külalislektor Krister Kruusmaa. Baromeeter on loodud projekti „Eesti keele toetus suurtes generatiivsetes vabavaralistes keelemudelites“ raames, milles löövad kaasa Tartu Ülikool, Tallinna Tehnikaülikool, Tallinna Ülikool ja Eesti Keele Instituut. Projekti rahastatakse riiklikust programmist „Eesti keeletehnoloogia 2018–2027“.
