YugoGPT i AI tehnologija u regionu: Aleksa Gordić govori o projektu koji spaja jezike bivše Jugoslavije

U svetu tehnoloških dostignuća, retko se susrećemo s pojedincima čija karijera obuhvata širok spektar iskustava i inovacija, kao što je to slučaj sa Aleksom Gordićem. Aleksa je programer čiji profesionalni put predstavlja pravu odiseju kroz svet visoke tehnologije. Njegova karijera počinje na Elektrotehničkom fakultetu u Beogradu, gde je završio odsek za elektroniku, da bi potom svoj fokus preusmerio na samo-edukaciju u oblastima softverskog inženjerstva i mašinskog učenja. Ova odluka ga je odvela na putovanje koje uključuje rad u nekim od najprestižnijih tehnoloških kompanija na svetu.

Aleksa je, nakon završenog fakulteta, stekao iskustvo radeći na međunarodnim praksama - prvo u Nemačkoj kao Android developer, a potom i u Brazilu. Njegov put ga je dalje vodio do Microsofta, gde je radio na razvoju HoloLens projekta, inovativnog uređaja za prikazivanje 3D holograma. Ova faza njegove karijere je samo uvod u dalje profesionalne izazove, koje nastavlja u Google DeepMind-u, gde se bavio mašinskim učenjem na projektu Flamingo, poznatom u svetu veštačke inteligencije.

Preporučujemo

Osim što je radio na ovim značajnim projektima, Aleksa je i aktivan član tehnološke zajednice. On vodi YouTube kanal "The AI Epiphany", koji ima preko 50.000 pratilaca, i veoma je aktivan na LinkedInu sa 85.000 pratilaca, gde je prepoznat kao jedan od vodećih glasova na platformi. Njegov uticaj se proteže i na Twitter, gde ga prate velika imena iz AI sveta, uključujući bivšeg CEO-a Google-a, Erika Šmita. Aleksa takođe vodi i Discord grupu sa oko 7.000 članova, gde okuplja stručnjake iz sveta veštačke inteligencije, deli svoje znanje i iskustva, te doprinosi širenju znanja o AI tehnologijama.

U intervjuu sa Aleksom Gordićem, osim što ćemo se osvrnuti na njegovu impresivnu karijeru, fokusiraćemo se i na njegov najnoviji projekat - YugoGPT, jezički model posvećen jezicima bivše Jugoslavije. Razgovaraćemo o izazovima i inovacijama koje donosi ovaj projekat, kao i o njegovom uticaju na tehnološki razvoj u regionu.

• Aleksa, možeš li nam ispričati kako si došao na ideju da razviješ YugoGPT i šta te je inspirisalo da se fokusiraš baš na jezike bivše Jugoslavije?

Mislim da mi se već godinu ili dve dana u glavi “krčka” ideja da bi bilo lepo da napravim nešto za naš region. To razmišljanje je kulminiralo nakon što sam napustio Google DeepMind, gde sam radio kao mašinski učenje inženjer, i krenuo da razmišljam o tome šta dalje.

Ranije ovog leta sam hteo da uradim jedan fine-tune Meta-inog LLaMA jezičkog modela i shvatio da je podrška za naš(e) jezik(e) dosta loša. Ne samo da nema open-source ekosistema oko LLM-ova već i generalan nedostatak inteligentnih sistema za prevođenje (DeepL najbolji komercijalni provider ovih usluga recimo uopšte ne podržava srpski) i ostalih NLP sistema.

To me je inspirisalo da krenem da radim na open-source-ovanju rada od Mete (ex Facebook) koji se zove “no language left behind” odnosno “ni jedan jezik neće biti ostavljen iza” u mom slobodnom prevodu. Taj sistem podržava 202 jezika odnosno preko 40.000 pravaca prevođenja.

Foto: PA

Kako sam radio na tom projektu shvatio sam da ono što stvarno hoću da uradim jeste da treniram LLM-ove za razne jezike i da želim da počnem sa našim jezicima.

Tako se rodila ideja YugoGPT-a, LLM-a od 7 milijardi parametara za HBS jezike (hrvatski, bosanski, srpski, crnogorski).

Inače razlog zašto podržavam baš ove jezike je prvenstveno tehničke prirode: Slični su tako da ako model nauči jedan jezik lako će naučiti i drugi (transfer learning) Da bih maksimizovao broj tekstualnih tokena (token je za sve praktične potrebe ovog bloga sinonim za reč)

Činjenica je da ne postoji dovoljno tokena za sve ove jezike na celom internetu da se istrenira jedan optimalan LLM, pa zbog toga mora da se krene od modela koji su pretrenirani na engleskom i uradi "continued pretraining".

• Koje su glavne prednosti YugoGPT-a u poređenju sa modelima kao što su Mistral i Lama 2, i na koji način si postigao bolje rezultate za jezike bivše Jugoslavije?

Glavna prednost je što je YugoGPT dosta bolji za srpski, hrvatski, bosanski, i crnogorski kao što sam podelio u ovom LinkedIn postu.

Foto: Aleksa Gordić

Bolje rezultate sam postigao radeći, kao što sam gore spomenuo, takozvanog continued pretraining procesa gde sam dodatno trenirao model na desetinama milijardi tokena na ovim jezicima!

• Koje tehnološke inovacije i AI tehnike koristiš u YugoGPT-ju, i kako one doprinose efikasnosti modela?

Za sam osnovni (base) model suština je znanje kako da se uradi “continued pretraining”, kako da se izaberu pravi hiper parametri, kao i posedovanje dobrog skupa podataka i dovoljno grafičkih kartica.

Takođe bilo je neophodno zbog uraditi razne optimizacije u framework-u koji sam koristio kako bi trening bio dovoljno efikasan i završio se za nekoliko nedelja.

Trenutno imam i interna, doktorskog (PhD) studenta iz Kine, sa kojim radim na internim verzijama modela koje ćemo nuditi kompanijama.

Yugochat aplikacija koju sam izbacio već koristi internu verziju modela za koju je urađen instruction tuning, koji omogućava modelu da sluša instrukcije korisnika i korektno ih izvršava. Uskoro ću izbaciti i novu verziju koja je dosta bolja u multi-turn setup-u odnosno kada imate više razmena poruka sa modelom kao što je to slučaj u gore pomenutoj aplikaciji.

• Spomenuo si da YugoGPT zahteva dalje usavršavanje. Možeš li nam otkriti neke od planiranih unapređenja i funkcija koje možemo da očekujemo u budućnosti?

Odgovorih iznad parcijalno :) Budući modeli će imati takozvani alignment (gde model razume ljudske vrednosti poput toga da bude bezbedan, od pomoći, iskren, bezopasan, itd) - na tome trenutno radim sa svojim internom. Takođe će biti dosta efikasniji i koristiće manje tokena (to su efektivno reči koje model vidi ali postoji među korak gde se reči cepaju na manje deliće iliti tokene). Imaćemo više i bolje podatke, itd. Sve će ovo dovesti do daleko boljeg modela! Sve to narednih par meseci.

• Kakvi su bili najveći izazovi sa kojima si se susreo tokom razvoja YugoGPT-a, i kako si ih prevazišao?

Prvi najveći problem je bio da razumem kako ću da nabavim veliku količinu GPU-ova za treniranje ovih sistema. Zbog moje pozicije u AI svetu to je bilo nešto lakše i uskoro se naredjalo više stranih kompanija koje su htele da mi daju svoje A100 GPU-ove na korišćenje. Zauzvrat, ja njih promovišem na socijalnim mrežama na kojima imam preko 160.000 pratilaca (takođe im znači i što sam “power user”).

Jedan od najvećih izazova pored manjka compute-a je bio takođe nedostatak testova za srpske/HBS LLM-ove. Tako da sam prethodnih nedelja napravio (uz pomoć ljudi sa mog Discord servera) i prvi srpski LLM skup evaluation testova.

I na kraju OpenAI GPT-4 krediti su dosta skupi ali srećom dosta entuzijastičnih i dobrih pojedinaca, kao i nekoliko kompanija, su pomogli i finansijski sa projektom.

• Kakav uticaj očekuješ da će YugoGPT imati na tehnološki razvoj i inovacije u regionu bivše Jugoslavije?

To je dobro pitanje, iskren odgovor je da nisam siguran. Mislim da će velika barijera biti sledeće tri stavke:

• Manjak GPU-ova od strane domaćih kompanija
• Manjak talenta/ljudi koji znaju da treniraju i fine-tune-uju ove modele
• Manjak svesti oko toga zašto je open source bitan - zbog ovoga mislim da će neke kompanije samo uzeti model, izgraditi nešto interno, i neće potom podeliti taj svoj rad sa zajednicom. Nažalost mnogo ljudi i dalje kada čuju open-source samo čuju "besplatno".

Ukoliko ima kompanija koje bi želele da koriste ove velike jezičke modele ja ću nuditi tu uslugu narednih meseci kroz svoj startup Runa AI. Veliki broj use-case-eva koji su prethodno bili nerešivi mogu da se reše na ovaj način.

• Da li planiraš saradnju sa akademskim institucijama ili drugim tehnološkim kompanijama u regionu za dalji razvoj YugoGPT-ja?

Da! Recimo vec sam u pregovorima za dobijanje pristupa GPU-ovima na “super kompjuteru” (pod navodnicima jer trenutno ima samo 32 A100 40GB nvidia graficke kartice) u Kragujevcu. I mnogo velikih regionalanih i svestskih kompanija cija imena sigurno znate su mi vec pisale da su zainteresovane za saradnju.

Tu je pogotovu interesantno ako kompanija ima dobre i velike interne skupove podataka jer to mozemo da iskoristimo da napravimo nesto specijalno za njih sto je dosta kvalitetnije nego osnovni (base) model.

Sto se tice akademskih institucija tu vidim slabiju saradnju u regionu zbog njihove manje razvijenosti/proaktivnosti i snabdevenosti grafickim karticama. Doduse prelepu saradnju sam imao sa Nikolom Ljubesicom, hrvatskim istrazivacom. Takodje mi se jedan istrazivac iz Makedonije javio za potencijalnu saradnju i podrsku i za makedonski jezik. Postoji sansa da cu podrzati i slovenacki jezik jako uskoro.

• Možeš li nam dati neki konkretan primer kako YugoGPT može biti primenjen u stvarnom svetu, na primer u medijima, obrazovanju ili nekoj drugoj oblasti?

Evo ih neke aplikacije za koje veliki jezički modeli mogu da se koriste:

• Ispravljanje gramatike, prebacivanje iz ijekavice u ekavicu i obrnuto
• Prepravka postojećeg teksta (kao asistent za pisanje ili generisanje sadržaja)
• Pravljenja sažetka teksta od nekog dužeg teksta
• Pretraga nad svim internim dokumentima: vi pitate proizvoljno pitanje i model vam pomogne da nadjete odgovor medju gomilom dokumenata. LLM je u ovoj priči deo većeg sistema.
• Asistent/četbotza edukaciju

LLM je dosta generalan model pa u principu dosta aplikacija koje išta rade sa tekstom mogu da imaju koristi od ovih sistema.

Takodje na https://www.yugochat.com/ možete sa desne strane da vidite razne templates koje smo pripremili koji pomažu da se razumeju sposobnosti ovih modela.

Foto: Aleksa Gordić

• Pomenuo si, ako se ne varam, da si i sa kolegom Tobijem Farmerom pokrenuo startap Runa AI. Kako Runa AI planira da koristi YugoGPT u poslovnim primenama, i koje probleme u oblasti obrade teksta ciljate da rešite?

Tako je. Primeri koje sam naveo pod Možete li nam dati neki konkretan primer kako YugoGPT može biti primenjen u stvarnom svetu, na primer u medijima, obrazovanju ili nekoj drugoj oblasti? su svakako nesto sto gledamo.

Takodje gledamo i vise consumer-facing aplikacije. Yugochat je jedan primer.

Ako neka kompanija koja ovo cita ima zanimljiv problem i podatke neka nam slobodno pisu.

Razgovor sa Aleksom Gordićem otkriva dubinu i širinu tehnoloških inovacija koje dolaze iz našeg regiona. Njegov rad na YugoGPT-u ne samo da pruža novo svetlo na važnost jezičke raznolikosti u svetu veštačke inteligencije, već i na potencijal koji ovaj region ima u tehnološkim inovacijama. Aleksa, kroz svoj rad u Runa AI, ne samo da unapređuje tehnologiju veštačke inteligencije, već i otvara nove puteve za saradnju između akademskih institucija i tehnoloških kompanija u regionu.

YugoGPT, kao značajan doprinos veštačkoj inteligenciji, može imati dalekosežan uticaj na različite sektore, od medija i obrazovanja do poslovnih primena. Aleksa Gordić, kao vizionar i inovator, ne samo da inspiriše svojim radom, već i postavlja temelje za budući razvoj veštačke inteligencije u regionu bivše Jugoslavije.

(Telegraf.rs)