Održana jednodnevna radionica „Kako rade veliki jezični modeli i generativna umjetna inteligencija”

Na Fakultetu elektrotehnike, strojarstva i brodogradnje u Splitu je, u ponedjeljak, 27. studenog 2023. održana jednodnevna radionica “Kako rade veliki jezični modeli i generativna umjetna inteligencija”.

 

 

Voditeljica radionice doc. dr. sc. Maja Braović upoznala je sudionike radionice s velikim jezičnim modelima i generativnom umjetnom inteligencijom, pri čemu su svi sudionici imali prilike koristiti resurs za napredno računanje u oblaku “Vrančić”.

Kada je bilo riječi o generativnom predtreniranju LLM (Large Language Model) objašnjeno je kako se nastoje naučiti vjerojatnosti s kojima se određene riječi pojavljuju iza nekih drugih riječi i/ili iza niza riječi te da je potrebno imati tekstualnu bazu podataka na kojoj se ove vjerojatnosti trebaju naučiti. U sljedećem koraku radi se nadzirano fino podešavanje LLM modela koje uključuje izgradnju baze podataka koja se sastoji od razgovora između dvoje ljudi – jedan predstavlja potencijalnog korisnika koji postavlja pitanja, a drugi na njih odgovara kao idealni chatbot. Tu problemi nastaju zbog različitih jezika, male količine podataka za treniranje modela i problema prilikom optimizacije. Ako greške nastanu već na početku razgovora, moguće je da LLM model na pitanja čovjeka odgovara s netočnim ili besmislenim podacima jer vjerojatnost vezana za te podatke može biti jako velika. Ovo dovodi do toga da je LLM model siguran u svoje odgovore, iako su pogrešni. Ovo se stanje naziva UI halucinacija. Tu nastupaju UI treneri koji najprije razgovaraju s trenutnim LLM modelom i provjeravaju alternativne odgovore.

 
Jedan od zaključaka vezan uz izazove LLM modela:

• skupi su za treniranje i održavanje.
• dugo se treniraju.
• ne postoji generalno prihvaćena metoda za njihovu evaluaciju.
• nije jasno kako upravljati sa privatnošću i zaštitom podataka i intelektualnog vlasništva. Smiju li se koristiti svi podaci na internetu za treniranje ovakvih modela

Radionica je organizirana u suradnji Fakulteta elektrotehnike, strojarstva i brodogradnje u Splitu i Sveučilišnog računskog centra (Srce), u okviru projekta National Competence Centers in Framework of EuroHPC Phase 2 (EuroCC2) financiranog iz programa Digitalna Europa.

---

EuroCC 2 i EuroCC4SEE financirani su sredstvima Zajedničkog poduzeća za europsko računalstvo visokih performansi (EuroHPC JU) u okviru ugovora o dodjeli bespovratnih sredstava br. 101101903 i br. 101191697. EuroHPC JU prima potporu iz programa Digitalna Europa Europske unije te iz Njemačke, Bugarske, Austrije, Hrvatske, Cipra, Češke, Danske, Estonije, Finske, Grčke, Mađarske, Irske, Italije, Litve, Latvije, Poljske, Portugala, Rumunjske, Slovenije, Španjolske, Švedske, Francuske, Nizozemske, Belgije, Luksemburga, Slovačke, Norveške, Turske, Republike Sjeverne Makedonije, Islanda, Crne Gore, Srbije, Bosne i Hercegovine.