YugoGPT dostupan je open-source sa 7 milijardi parametara za BHS jezike

YugoGPT dostupan je open-source sa 7 milijardi parametara za srpski, hrvatski i bosanski jezik

Aleksa Gordić, tvorac najvećeg jezičkog modela za južnoslovenske jezike, lansirao je Runa AI platformu koja nudi API pristup ka svim LLM-ovima koje je razvio i open-source-ovao YugoGPT. U intervjuu za Netokraciju, Aleksa govori zašto je to bitno za razvoj domaćeg AI ekosistema.

Pred sam kraj prošle godine, kada smo pripremali našu godišnju rekapitulaciju AI događaja, dočekala nas je vest o treniranju YugoGPT— najvećeg LLM jezičkog modela za južnoslovenske jezike, od čak sedam milijardi parametara. U prevodu, veštačka inteligencija je na korak bliže da “propriča” srpski i ostale jezike s ovih prostora.

Odmah smo kontaktirali kreatora, Aleksu Gordića, koji nam je tim povodom predstavio svoj projekat i zašto je on važan za razvoj veštačke inteligencije na našim prostorima.

On je tada istakao da, pored toga što kod nas nema open-source ekosistema oko LLM-ova, primetan je i generalni nedostatak inteligentnih sistema za prevođenje i ostalih NLP sistema. To ga je inspirisalo da svoju misiju obučavanja LLM-ova za razne jezike, otpočne upravo sa grupom južnoslovenskih jezika.

Podsećanja radi, YugoGPT 7B značajno nadmašuje Mistral i LLaMA 2 i to ga čini najboljim open-source LLM na svetu za srpski i druge HBS (hrvatski, bosanski, crnogorski) jezike. U trenutku našeg razgovora, Aleksa je najavio da pravo testiranje tek sledi, a da će za dalji razvoj YugoGPT-a biti potrebna veća podrška tehnološke zajednice.

Svega par meseci nakon našeg razgovora, tvorac YugoGPT-a objavio je dve značajne novine vezane za ovaj projekat. Prva je lansiranje Runa AI, dev platforme koja nudi API pristup ka svim LLM-ovima koje Aleksa razvija. Druga vest je da je YugoGPT od sada dostupan pod open-source Apache 2.0 licencom na HuggingFace-u.

Upravo ove dve vesti bile su povod da ponovo razgovaramo sa Aleksom, koji nam je ovaj put podrobnije predstavio sebe i svoje projekte.

Mašinsko učenje — ljubav na prvi pogled

Aleksa je svoj karijerni put otpočeo na studijama elektronike Elektrotehničkog fakulteta u Beogradu, ali je pri samom kraju rešio da se fokusira na softver jer je shvatio da u ovoj oblasti ima daleko više prilika. Na kraju osnovnih studija i nakon letnje prakse u Nemačkoj 2017. godine gde je radio kao Android developer, otpočeo je tehničke pripreme kako bi dobio posao u nekoj od big tech kompanija. I onda je usledio prvi susret sa mašinskim učenjem:

Godine 2018. upao sam na PSI:ML (Petnica Machine Learning kamp), što je bio moj prvi susret sa mašinskim učenjem i odmah sam shvatio da me ova oblast interesuje više od svega što sam do tada radio. Ispostavilo se da je tim koji vodi taj kamp iz Microsoft-a, pa sam ubrzo dobio poziv da dođem da radim za Microsoft HoloLens tim.

Nakon skoro tri godine provedene u Microsoft-u i, kako kaže, mnogo rada na sebi u slobodno vreme, dospeo je u Google DeepMind. Tu je radio kao research engineer skoro godinu i po dana na takozvanim vision language modelima. Poziciju je napustio prošle godine, kako bi otpočeo sa radom na svom startapu — Runa AI.

Runa AI platforma nudi API pristup ka svim LLM-ovima

Upravo to je platforma koju smo ranije u tekstu najavili. Kako nam je Aleksa objasnio, platforma nudi API pristup ka svim LLM-ovima (jezičkim modelima) koje razvija:

Trenutno je tu YugoGPT koji “priča” srpski, bosanski, i hrvatski, ali plan je da tu bude još dosta jezika koji nisu samo iz balkanskog regiona. YugoGPT API je jednostavan za korišćenje i efektivno ima isti interfejs kao OpenAI API — što je nešto sa čime je većina developera već uveliko upoznata, pa bi razvoj novih aplikacija trebalo da bude trivijalnost.

Dakle, u pozadini treniraju nove LLM-ove za razne jezike, a čim budu spremni, odnosno obučeni, pristup ka njima biće dostupan na Runa AI platformi kroz API. U planu je podrška za sve balkanske jezike (bugarski, makedonski, albanski, i ostali) a potom i ekspanzija na jezike jugoistočne Azije.

Što se tiče izazova, Aleksa izdvaja neoptimalno login iskustvo, koje su lako i efikasno prevazišli. Govoreći o tome, on ističe da je svaki korisnički feedback dobrodošao jer ako nešto nije jasno (na primer, kako da se koristi API, ili ako je API sporiji nego što bi trebalo) veoma bi mu značilo da se to odmah prijavi kako bi popravio platformu i samim tim unapredio korisničko iskustvo.

Lepota API-ja ogleda se u beskrajnim mogućnostima

Iako inicijalno to nije bilo planirano, u platformu je implementiran Python client, pa korisnici mogu da “pozivaju” YugoGPT kroz svoje Python programe. Prema Aleksinim rečima proces integracije je veoma jednostavan, a sa nama je podelio osnovne korake:

Prvo, instalirate Open AI Python paket kroz ‘pip package manager’. Potom, napravite svoj account na dev.runaai platformi. Kopirate svoj subscription key (nalazi se ispod profil taba na platformi). Iskoristite već postojeću OpenAI klasu (from openai import OpenAI) i modifikujete samo jednu funkciju da koristi subscription key iz koraka broj tri.

Nakon navedenog, jednostavno se pozove API sa porukama poput:

messages=[

{

“role”: “system”,

“content”: “Ti si asistent koji uvek hoće da pomogne.”,

},

{

“role”: “user”,

“content”: “Kako se zoveš?”,

}

],

Prema Aleksinoj tvrdnji, u pozadini će YugoGPT dobiti parče teksta (prompt) i vratiti odgovor na postavljeno pitanje. Ono što naš sagovornik posebno ističe jeste lepota API-ja koja se ogleda u činjenici da kreatori platforme ne moraju da znaju kako će ga korisnici koristiti sve dok prate terms of services. Stoga:

Nije nezamislivo da je moguće napraviti stotine kreativnih aplikacija! Od chatbot-ova, role-play igrica do ispravljanja gramatičkih grešaka u tekstu (kao deo postojećih NLP sistema koje imaju).

Kako zaključuje, dosta stvari koje su developeri do sada mogli da naprave samo na engleskom, biće dostupno i na srpskom jeziku.

YugoGPT sada dostupan pod open-source Apache 2.0 licencom na HuggingFace-u.

Da bi se open-source projekti razvijali, važno je aktivno učešće zajednice

Druga velika vest jeste da je Aleksa uspešno open source-ovao NLP na bazi YugoGPT-a od čak sedam milijardi parametara za BHS (bosanski, hrvatski, srpski) jezike. To u prevodu znači da je YugoGPT sada dostupan pod open-source Apache 2.0 licencom na HuggingFace-u.

Međutim, kada smo ga pitali kako predviđa da će ovaj poduhvat uticati na razvoj lokalnog AI ekosistema, odgovorio nam je da nije siguran jer postoje određene barijere:

Manjak GPU-ova od strane domaćih kompanija kao i samih developera, zatim manjak talenata koji znaju da treniraju i ‘fine-tune’-uju ove modele, i najzad manjak svesti oko toga zašto je ‘open source’ bitan. Sve su to razlozi iz kojih mislim da će neke kompanije samo uzeti model, izgraditi nešto interno, i neće potom podeliti taj svoj rad sa zajednicom.

Nažalost, mnogo ljudi i dalje kada čuju ‘open-source’ samo čuju “besplatno”. To će verovatno usporiti razvoj lokalnog ekosistema. Najzad, ‘tl;dr kultura’ je jako bitan aspekt koji diktira da li će ‘open-source’ ekosistem zaživeti negde ili ne.

Ono u šta Aleksa polaže najveće nade jeste da će pojedini developeri i kompanije prisvojiti model i kroz fine-tuning napraviti razne derivate, te podeliti to sa ostatkom zajednice. Ili barem, nada se da će njegov poduhvat inspirisati ljude da počnu da razmišljaju više na ovaj način i neguju lokalnu open-source kulturu.

YugoGPT može da unapredi razvoj zemalja u kojima se koristi evo i kako

Razvojem YugoGPT i njegovom ekspanzijom zemlje koje nisu na visokom stepenu razvoja veštačke inteligencije, mogle bi da osete boljitak u mnogim poljima. Prema Aleksinim rečima, u ekonomskom smislu kompanije će moći da ponude bolja i jeftinija rešenja na njihovom jeziku. Dosta njih, kao i same države imaju potrebu da rade sa ogromnim brojem dokumenata koji su na jeziku njihovog regiona. Zato:

Umesto da koriste ‘multilingual’ modele koji njihov jezik podržavaju više kao afterthought imaće specijalizovane modele koji razumeju njihov jezik i koji su jeftiniji i efikasniji.

I ne samo to, već:

Što se tiče bezbednosti, ‘open-source’ je definitivno nešto što se već pokazalo kao najbolji način da napravimo robusnije softverske sisteme. Odličan primer je Linux operativni sistem, Kubernetes softver za orkestraciju ‘compute’-a, Weaviate vektorska baza podataka, i tako dalje.

Najzad, naš sagovornik ističe da u svetu koji sve više oseća posledice globalizacije koja neminovno utiče na jezik i kulturu — činjenica je da svi mi koristimo daleko više anglicizama i kada ne moramo — posedovanje moćnih AI modela pomoći će da se jezik i kultura sačuvaju za buduće generacije.

API je jednostavan za korišćenje i efektivno ima isti interfejs kao OpenAI API — što je nešto sa čime je većina developera već uveliko upoznata, pa bi razvoj novih aplikacija trebalo da bude trivijalnost.

Najveće ulaganje od pojedinca koji želi da ostane anoniman

Aleksa je istakao važnost podrške zajednice, a upravo ona doprinela je razvoju njegovih ideja. Zato, svi sponzori, kompanije i pojedinci, koji su u finansijski pomogli tokom pravljenja Serbian LLM eval projekta kao i tokom treniranja YugoGPT-ja mogu se naći na njegovim HuggingFace projektima kao i na GitHub-u.

Kako kaže:

Lista je prevelika da bih sve ovde izlistao. Kao zanimljivu činjenicu naveo bih da je jedna od najvećih donacija stigla ne od kompanija iz regiona, već od pojedinca iz Beograda koji želi da ostane anoniman.

Korišćenje OpenAI-ovog API-ja za rafinisanje eval testova, troškovi za treniranje, prilično su značajni tako da je ta podrška bila veoma dobrodošla i olakšala mi je proces open-source-ovanja modela. Jako sam zahvalan svima koji su pomogli.

Ljudski faktor, Aleksa veoma ceni i u samom razvoju tehnologije, jer su oni i dalje jedina “prava” inteligencija koju imamo. Zato je testna faza vršena kroz Winogrande test, koji je skroz manuelno ispravljen zahvaljujući pomoći hrvatskog istraživača Nikole Ljubešića i njegove saradnice Mirne Potočnjak, koja je zaslužna za završetak čitavog procesa.

To je ukratko opisana poslednja faza razvoja, a za one radoznale prirode — detaljan tehnički izveštaj koji objašnjava razvoj Serbian LLM eval projekta se može naći na sledećem linku.

Konačni cilj: Da svaka zemlja ima svoj LLM

Na kraju razgovora, pitali smo Aleksu koji je konačni cilj njegove misije i koji su neki od sledećih koraka na putu ka njegovom ostvarivanju, na šta nam je on skromno odgovorio:

Moj cilj je jednostavan — želim da svaka zemlja ima jezičke modele (LLM-ove) koji odlično rade na njihovim jezicima ili dijalektima kao i jednostavan način da naprave AI aplikacije, čak i ako ne razumeju kako ovi AI sistemi rade.

Drugim rečima, to je ujedno i sledeći korak za njega i njegov tim: napraviti application platformu gde ljudi mogu bez kodiranja da naprave svoje AI asistente, chatbot-ove, i tako dalje. A, više o tome govoriće nam povodm nekog od sledećih update-a u narednim mesecima.


Želiš da podeliš svoje mišljenje o ovoj temi? Komentari su otvoreni na našoj Facebook i LinkedIn stranici!

Popularno

Tehnologija

AI menja programiranje iz korena – kako da to okrenete u svoju korist?

Kompanija Tenderly, zajedno sa kompanijom Infobip u Beogradu organizuje meetup posvećen startapima koji žele da implementiraju veštačku inteligenciju u svoje poslovanje. Mi smo razgovarali sa Marinom Šolčić koja će biti predavač na ovom događaju.

Najava

Regionalni ‘open data’ izazov: Napravi aplikaciju koristeći podatke javne uprave

Regionalna škola za javnu upravu (ReSPA) i Program Ujedinjenih nacija za razvoj u Srbiji (UNDP Srbija) raspisuju Regionalni izazov otvorenih podataka 2024.

Startapi i poslovanje

Ingsoftware akvizirao Neopix, sledi ukrupnjavanje niške IT scene

Domaća kompanija Ingsoftware akvizirala je Neopix, tako da ove niške kompanije sa velikim iskustvom u razvijanju digitalnih proizvoda i međusobno veoma kompatibilnim ekspertizama od 25. marta posluju kao jedna.

Propustili ste

Intervju

Neubase olakšava online otvaranje firme u SAD-u za nerezidente uz prilagođene cene

Kompanija Neubase bavi se osnivanjem LLC preduzeća u SAD-u za nerezidente, sa posebnim fokusom na preduzetnike sa Balkana. Mi smo imali priliku da u velikom intervjuu razgovaramo sa osnivačima ove kompanije.

Startapi i poslovanje

Startap Stomatopoda iz Srbije transformiše restorane u SAD — uz pomoć AI softvera!

Njihovo 'flagship' rešenje jeste SaaS proizvod aTavloa koji uz pomoć veštačke inteligencije analizira korisničko iskustvo čime omogućava ugostiteljima da budu uslužniji i efikasniji. U tekstu koji sledi, saznajte kako!

Gaming

SGA izveštaj: Video igre kreirane u Srbiji za 2023. godinu prihodovale €175 miliona

Uprkos izazovima koje je donela 2023. godina, gejming industrija Srbije uspela je ne samo da očuva stabilnost, već i da poveća prihode i broj zaposlenih, pokazuje istraživanje Asocijacije industrije video igara Srbije (SGA) koje je u saradnji sa Privrednom komorom Srbije predstavljeno javnosti.

Startapi i poslovanje

Srpski Collabwriting podigao €1,1 milion za AI implementaciju u poslovanje!

Nakon osvojenih €880.000 na prošlogodišnjoj 'How To Web' konferenciji, startap Sandre Iđoški i Ivana Ralića nastavlja da pridobija povrenje investitora.

Novost

Bitcoin Halving je počeo, zašto je on važan za ovu kriptovalutu i njene rudare?

Bitcoin Halving koji se dešava danas je redak događaj u mehanizmu Bitcoina, nakon kog obično uslede značajne promene kada je reč o ovoj kriptovaluti.

Tehnologija

Ko je zapravo lažna dr Emili Roberts o kojoj je izvestilo preko 50 domaćih medija?

Učesnica ovogodišnjeg Dana internet domena i njeno predavanje na temu 'Borba protiv uznemiravanja u deepfake eri' privukla je ogromnu medijsku pažnju i to s dobrim razlogom!