Slobodan Marković: Kako javno dostupni NLP modeli za srpski jezik doprinose rastu domaće IT industrije?

Veliki jezički modeli (large language models, LLMs), kao što su Google BERT ili OpenAI GPT, u svom radu primenjuju NLP jezičke modele, među koje spadaju automatsko prevođenje, sumarizacija teksta, generisanje teksta i slični alati koje koristimo u svakodnevnoj upotrebi. Međutim, oni nisu dobro prilagođeni srpskom jeziku, a još manje specifičnim upotrebama jezika u određenim delatnostima, pa tako nemamo razrađen specifični pravni jezik, medicinski jezik, te jezik koji se koristi u finansijama ili medijima.

Pravljenje kvalitetnih skupova podataka za fine-tuning LLMs je nešto što traži dosta vremena i novca, što uglavnom prevazilazi mogućnosti domaćih IT firmi. Zbog toga, kao posledicu imamo ne samo vrlo mali broj NLP rešenja za srpski jezik, nego i praktično nijedan startap koji bi razvijao NLP-based rešenja za srpski jezik kao što su Grammarly, Quillbot, Siri ili ChatGPT.

Podstaknut navedenim nedostacima, Slobodan Marković koji je digitalni savetnik u organizaciji UNDP došao je na ideju da pokrene projekat COMtext.sr i oko njega okupi zajednicu koja bi finansirala izradu kvalitetnih skupova podataka i jezičkih modela prilagođenih tim podacima, koji bi bili javno dostupni svima pod permisivnim licencama. O inicijativi koju je pokrenuo, koracima koje je potrebno preduzeti na tom putu, ali i uopšteno o NLP jezičkim modelima, Slobodan je govorio u intervjuu koji sledi.

Najpoznatiji jezički alati nemaju podršku za srpski jezik

Za početak, Slobodan nam je objasnio da se danas pod obradom prirodnog jezika (NLP) obično podrazumeva prepoznavanje njegove strukture. Naime, tu spada podela teksta na manje segmente (tokenizacija), zatim prepoznavanje vrsta reči (tagging), uključujući i razlikovanje običnih reči od imenovanih entiteta (kao što su lična imena, geografski pojmovi ili nazivi proizvoda). S tim u vezi, posebno je istakao razliku između obrade i razumevanja prirodnog jezika:

Struktura jezika na višem nivou je sintaksa tj. analiza rečenice, npr. koja reč je subjekat, a koja objekat glagola. Razumevanje jezika (NLU) se tiče značenja, npr. koje dve reči ili rečenice imaju slično značenje, da li je rečenica generalno pozitivna ili negativna (sentiment), koja rečenica logički sledi iz koje, koja rečenica je odgovor na koje pitanje i slično. Računarska obrada jezika je širi pojam i obuhvata obe pomenute stvari.

Kada je u pitanju primena veštačke inteligencije u računarskoj obradi prirodnog jezika, Slobodan navodi kako je ona prisutna u mnogim aplikacijama koje svi, svakodnevno koristimo:

Mnogo pre ChatGPT-a imali smo aplikacije za automatsko prevođenje, zatim dopunjavanje naših upita prilikom pretrage, sugestije pri pisanju poruka, ispravljanje gramatike i slovnih grešaka, pravljenje sižea dugačkih tekstova, parafraziranje teksta u nekom drugom stilu, razne vrste tekstualnih preporuka (npr. prikaz sličnih oglasa za posao, sličnih proizvoda, povezanih tekstova na medijskim sajtovima).

Nadalje, on navodi asistente kao što su Siri (Apple), Google assistant ili Alexa (Amazon), softvere koji automatski klasifikuju ogromne količine dokumenata prema njihovom sadržaju, kao i aplikacije za analizu sentimenta u online komentarima, recenzijama i diskusijama, čiji rad ne bi bio moguć bez računarske obrade prirodnog jezika. Ipak, činjenica je da većina svih pobrojanih alata radi dobro pre svega za engleski, nešto slabije za druge “velike” jezike, dok je podrška za srpski tu uglavnom nepostojeća – ili ako postoji, dosta je oskudna.

Vođeni idejom da se lingvistička intuicija ne može naučiti, već se savladava kroz stalnu upotrebu jezika, pitali smo Slobodana na koji način jezički modeli mogu da se “istreniraju” kako bi savladali ovu veštinu i iskopirali pravi jezički aparat, na šta je on odgovorio:

Mnogi lingvisti bi se naljutili kada biste im rekli da se lingvistička intuicija ne može naučiti, dok bi se drugi rado složili sa tom tvrdnjom. To je danas velika debata, posebno u kontekstu velikih jezičkih modela koji lepo imitiraju ljudske veštine u korišćenju jezika. Kako tačno ljudski mozak uči ili, preciznije rečeno, usvaja jezik nije sasvim jasno, ali sigurno je da se dosta oslanja na primere upotrebe.

Kako naš sagovornik dalje navodi, iz primera se izvlače uopštavanja koja nazivamo gramatičkim pravilima. Upravo to rade i jezički modeli. Oni se uče tako što više puta pokušavaju da nastave zadatu rečenicu to jest, pogode koje reči slede nakon određenog niza. Za svaki pokušaj model dobija povratnu informaciju da li je pogodio ili ne i koliko je bio blizu tačnog odgovora.

Parametri modela su to što mu omogućava da pogodi nastavak rečenice, a oni sadrže uopštavanja, tako da ih možemo smatrati i nekom vrstom implicitnih gramatika, što je u određenoj meri i pokazano naučnim eksperimentima:

Razlika između ljudskog mozga i sadašnjih velikih modela je upravo u sposobnosti uopštavanja tj. uočavanja pravila. Na osnovu te informacije, parametri modela se ažuriraju i onda model pokuša ponovo, sve dok svi pokušaji ne budu uspešni.

U tome je ljudski mozak daleko napredniji od modela, tako da može jako brzo da uči i to iz vrlo malo primera upotrebe, dok su modeli jako spori i treba im ogromna količina primera (npr. svi tekstovi koji su ikada postavljeni na internet). Trenutno se traga za načinima kako da se unapredi proces učenja u modelima kako bi bio efikasniji.

Posebno je interesantan podatak da se istovremeno s raznim metodama mapiranja moždane aktivnosti istražuje obrada jezika u ljudskom mozgu, kako bismo bolje razumeli kako sve to radi.

Sve jezičke alate treba učiniti javno dostupnim

Kada je reč o NLP modelima za srpski jezik, Slobodan ukazuje na to da svako ko danas želi da razvije aplikaciju baziranu na primeni računarske obrade srpskog jezika, suočen je sa velikim početnim troškovima za izradu, prvo osnovnih skupova podataka za treniranje modela kako bi bolje razumeli srpski jezik, a posle i podataka za prilagođavanje modela kako bi bolje razumeli određenu stručnu oblast ili rešili neki specifičan zadatak.

Prema njegovim navodima, pomenuta ulaganja prevazilaze mogućnosti domaćih IT kompanija i teško su isplative u kontekstu domaćeg tržišta. To je ujedno i razlog zbog koga danas na tržištu nemamo gorepomenute aplikacije za naš jezik, baš kao ni startape koji bi ih razvijali. U istraživanju ove teme, Slobodan je došao do Regionalne inicijative za jezičke podatke (ReLDI), udruženja koje okuplja stručnjake za veštačku inteligenciju i računarsku lingvistiku iz Srbije i regiona:

Članovi ReLDI su napravili neke od najkvalitetnijih resursa i alata za obradu srpskog (ali i drugih južnoslovenskih) jezika koje trenutno imamo. Npr. veliki jezički model BERTić i nekoliko skupova podataka za njegovo prilagođavanje u smislu boljeg razumevanja medijskog teksta i imenovanih entiteta. Jedan od najnovijih njihovih resursa je srpska lokalizacija skupa COPA za testiranje zdravorazumskog rezonovanja kod jezičkih modela, što je bitna i vrlo teško ostvariva komponenta razumevanja jezika.

Ono što je Slobodana posebno privuklo kod pomenute organizacije jeste činjenica da su sve resurse i alate učinili javno dostupnim. Prema njegovom mišljenju, ovo je od presudnog značaja za “mali” jezik kao što je srpski, naročito ako želimo da izbegnemo situaciju gde svako uvek počinje iznova sa sačinjavanjem bazičnih skupova podataka, umesto da svoje vreme i novac usmeri na korisnije stvari i uže probleme koji rešava za svoje klijente. Upravo na tim načelima je zasnovan i projekat za srpski jezik, a o čemu nam naš sagovornik govori:

Naš cilj sa ovim projektom je da proizvedemo što više skupova podataka za prilagođavanje (fine tuning) jezičkih modela, kako bismo ih “naučili” da bolje razumeju srpski jezik u što više oblasti upotrebe (npr. pravni tekst, medicinski, ekonomski, medijski itd.) i budu sposobni da se snalaze sa određenim zadacima, kao što su prepoznavanje imenovanih entiteta, utvrđivanje sličnosti između dva teksta, analiza sentimenta ili odgovaranje na pitanja.

Nadalje, Slobodan nam je opisao kako će izgledati projekat. Njegovi nosioci su Inovacioni centar ETF-a (ICEF) i ReLDI, a kako bi napravili ove skupove, ICEF i ReLDI će angažovati određen broj jezičkih stručnjaka. Sve što se bude radilo od početka će podržavati ekavski i ijekavski izgovor srpskog jezika. Nakon što skupovi podataka budu spremni, radiće se na prilagođavanju jezičkih modela pomoću njih i utvrđivanju koji daje najbolje rezultate u obradi teksta.

Krajnji cilj je javna publikacija skupova podataka, prilagođenih (fine-tuned) modela i rezultata evaluacije. Sve to biće dostupno pod permisivnim licencama, koje omogućavaju njihovu upotrebu u bilo koje svrhe, pa i za ugradnju u komercijalne proizvode. Drugim rečima, Slobodan detaljnije objašnjava:

Ovim projektom želimo da stvorimo prostor za domaće IT kompanije i startape i pružimo im bolju početnu osnovu od koje mogu dalje da grade svoja rešenja. Nadamo se, takođe, da će naše delovanje motivisati druge da neke svoje jezičke resurse i alate otvore i ponude zajednici na korišćenje, kako bismo svi brže napredovali. Takođe, nadamo se da će država shvatiti da mora mnogo više da posveti pažnje ulaganju u jezičke tehnologije.

Slobodan objašnjava da za razliku od drugih oblasti veštačke inteligencije (npr. computer vision), gde u Srbiji imamo priliku da direktno primenjujemo najsavremenija rešenja, situacija sa obradom prirodnog jezika je potpuno drugačija – našem jeziku moramo sami da se posvetimo i to neće uraditi niko drugi do nas. Globalni IT giganti ne percipiraju Srbiju kao interesantno tržište i ta situacija se skoro neće promeniti.

Marković dalje navodi da, čak i kada na kraju odluče da neke od svojih NLP/NLU-baziranih proizvoda ponude za srpski, uradiće to pod restriktivnim komercijalnim uslovima i preko API koji zahtevaju stalni pristup internetu, što često nije opcija za određene namene (npr. za ugradnju u elektronske uređaje ili primene gde je neophodno obezbediti garanciju privatnosti ili poverljivosti podataka).

Razvoj NLP modela doprinosi razvoju domaće ‘tech’ zajednice

Pre nego što su javno predstavili projekat, Slobodan i njegovi saradnici obavili su razgovore sa preko 40 organizacija domaće IT zajednice, kako bi bolje razumeli njihove potrebe. Nekoliko njih prepoznalo je razvojni potencijal ovog poduhvata – SAS, Comtrade System Integration, RNIDS, Data Science konferencija, Infostud i Alfanum.

Oni su obezbedili prvih 50.000 EUR finansiranja, dok je Kancelarija za IT i e-Upravu ponudila NVIDIA klaster u Kragujevcu koji će biti iskorišćen za fine-tuning i evaluaciju modela. Ipak, kako naš sagovornik objašnjava, dobijena sredstva nisu dovoljna za realizaciju svih prioriteta:

Ova prva sredstva iskoristićemo da ove godine napravimo pomak u domenu obrade pravno-administrativnog teksta, koji je u širokoj upotrebi u tekstualno intenzivnim oblastima, kao što su pravosuđe, advokatura, javna uprava ili svakodnevno poslovanje. Srećni smo što smo uspeli da ovu ideju “odlepimo od zemlje”.

Međutim, pomenuta sredstva nisu dovoljna za realizaciju svega što smo u razgovoru sa domaćom IT zajednicom identifikovali kao prioritetno. Zato smo u potrazi za još pojedinaca i organizacija koji bi bili zainteresovani da podrže ovaj projekat, pre svega u finansijskom smislu.

Marković smatra da bi ovaj projekat posebno mogao da zainteresuje firme koje razvijaju (ili planiraju da razvijaju) NLP/NLU-bazirane IT proizvode za srpsko i regionalno tržište ili kompanijama koje žele da pomoću NLP/NLU unaprede neki segment svog biznisa (npr. pretragu na svojim sajtovima, sisteme za preporučivanje proizvoda, sisteme za podršku korisnicima itd).

S druge strane, naš sagovornik poziva i one koji u ovom trenutku ne vide neku neposrednu komercijalnu korist od projekta, da razmisle o podršci sa aspekta društvene odgovornosti, budući da on potiče iz domaće tech zajednice i suštinski doprinosi njenom razvoju, otvara prostor za nove startape i, u krajnjoj liniji, doprinosi tome da srpski jezik bude očuvan u doba AI revolucije. Pri tome, Slobodan ukazuje na problem uzrokovan nedostatkom NLP modela:

Ovo poslednje nije preterivanje. Tehnologije sve dublje prodiru u naš svakodnevni život i kada opštenje sa uređajima i aplikacijama ne možemo da vršimo na maternjem jeziku, prinuđeni smo da koristimo neki drugi. Deca nam sa Siri već razgovaraju na engleskom, a situacija će postajati sve gora. Npr. u primeni sve popularnijih VR aplikacija, govor je način za interakciju sa uređajima i pogađate koji jezik tu neće biti podržan.

On je istakao da veliki jezički modeli nisu dobro prilagođeni srpskom jeziku, a još manje specifičnim upotrebama jezika u određenim delatnostima, pa smo ga pitali zašto je to tako. Takođe, objasnio je da se veliki jezički modeli treniraju na ogromnim količinama neobeleženog i raznovrsnog teksta, kako bi mogli da ustanove jezičke pravilnosti i budu u stanju da generišu neki smisleni tekst na tom jeziku, što dovodi do dva kapitalna problema:

Prvi problem je u tome što srpskog ili nema uopšte u korpusima na kojima su trenirani veliki jezički modeli ili se u njima nalazi u minornim procentima. Drugi problem je to što veliki jezički modeli obično traže dodatno treniranje određenim količinama obeleženog teksta, kako bi se bolje prilagodili određenom jezičkom domenu ili rešavanju određenog zadatka.

S obzirom na to da takvih kvalitetnih skupova podataka, barem kada je srpski u pitanju, nema puno javno dostupnih i nije ih trivijalno napraviti – taj proces prilagođavanja modela zahteva specijalizovana lingvistička i AI znanja i to je prostor u kome vidimo našu ulogu.

Uz to, Slobodan dodaje i da je određivanje sentimenta jedan od težih problema u računarskoj obradi jezika, budući da sentiment u dobroj meri zavisi od specifičnog konteksta govora i kulturno je uslovljen. Uz sve navedeno, sentiment se nije pokazao kao nešto što je zajednici među najvećim prioritetima, ali to je svakako oblast koju Slobodan i njegovi saradnici imaju u vidu:

Recimo, jedan od članova našeg tima objavio je skup podataka koji se može koristiti za određivanje sentimenta filmskih recenzija na srpskom.

Problema s kojim se susreću već postojeći alati dostupni na maternjem jeziku ima dosta. Pre svega, teško je naći kvalitetne resurse i alate za obradu srpskog na jednom mestu, jer su raštrkani po privatnim sajtovima i repozitorijumima, naučnim radovima i sl. Drugi problem na koji Slobodan ukazuje je posledica toga što je većina onoga što trenutno postoji nastalo kao proizvod naučnog rada, bez plana kako bi moglo da se iskoristi u neke komercijalne svrhe. Integracija takvog koda u neko komercijalno rešenje nije laka i dodatno komplikuje stvari, a to objašnjava ovako:

Značajna količina resursa i alata koji su do sada napravljeni u akademskom okruženju ili nije javno dostupna (npr. zahteva lozinku za pristup) ili nije dostupna pod licencama koje bi omogućile komercijalnu upotrebu.

Dalje, za srpski jezik ne postoji puno javno dostupnih i kvalitetno obeleženih domenskih korpusa, koji bi se koristili za prilagođavanje jezičkih modela. Napokon, ono što je do sada napravljeno uglavnom postoji samo u varijanti ekavskog, ali ne i ijekavskog izgovora srpskog jezika.

Primena automatske klasifikacije dokumenata značajno bi skratila administrativne poslove

Nedovoljan razvoj jezičkih alata preti da ostavi dugoročne posledice na napredak domaće IT industrije, ali i na razvoj upotrebe srpskog jezika u web prostoru. Slobodan tu vidi nekoliko mogućih scenarija. Prvi je da nastavimo po starom što nikome ne ide u korist jer tako naša IT industrija ne samo da propušta šansu da ostvari korist od jezičkih tehnologija, nego na taj način rizikujemo tiho istiskivanje našeg jezika iz sve više oblasti primene.

Drugi je scenario vertikalne integracije, što znači da sačekamo da neka firma ili investitor odluči da ozbiljno uloži u ovu oblast na našem tržištu i proizvede sopstvene kvalitetne resurse, alate, modele i konačno softverske proizvode:

Pošto se radi o značajnim ulaganjima, sva je prilika da će to biti urađeno za neki specifični (i verovatno finansijski jači) privredni sektor i njegove konkretne potrebe. Pozitivna stvar ovog scenarija je što ćemo bar u nekim sektorima privrede moći da ostvarimo korist od računarske obrade jezika. Negativna je to što smo prepušteni slučaju i bitno ograničeni u pogledu mogućnosti i opsega korišćenja ovih tehnologija.

Našem sagovorniku najbliži, treći scenario je onaj u kojem cela zajednica ulaže u bazične jezičke tehnologije, odnosno u izradu velikih jezičkih modela i bazičnih skupova za njihovo fino podešavanje u što većem broju jezičkih oblasti i zadataka. Prema njegovom mišljenju, najbitnije je da rezultati tog rada budu javno dostupni svima pod permisivnim licencama, jer svakim novim javno dostupnim resursom, svi dobijamo novi kvalitet.

Slobodan nam je objasnio i na koji način ovakav scenario doprinosi domaćoj IT industriji:

U tom scenariju otvaraju nam se daleko šire mogućnosti za primenu jezičkih tehnologija u najrazličitijim oblastima, snižavaju troškovi i skraćuje vreme potrebno za razvoja proizvoda. Pritom, pojedinačne IT firme i startapi ne gube konkurentsku prednost, jer ne samo što ove javno dostupne alate i modele moraju da integrišu u softverska rešenja za krajnje korisnike, nego izvesno moraju i dodatno da ih prilagode njihovim specifičnim potrebama. Međutim, ta specifična podešavanja daleko su manjeg obima i mislim da tu ima više smisla da domaće firme ulažu ograničena sredstva koja su im raspoloživa za razvoj.

Ukoliko sve protekne po planu, Slobodan predviđa da je najbolji mogući rezultat prve faze  da proizvode projekta vidimo integrisane u neko softversko rešenje koje će unaprediti obradu pravno-administrativnog teksta na srpskom. Naš sagovornik dodaje da to znači da bi službenici mogli da vrše pretrage bez potrebe da misle o tačnom obliku pojma koji traže – padež, rod, broj i slično:

Osobe zadužene za sastavljanje i kontrolu ugovora mogle bi brzo i lako da pronađu delove teksta na koje treba posebno obratiti pažnju (npr. potencijalno sporne formulacije ili odredbe koje nedostaju, a bitne su za usaglašenost sa važećim normama) ili da u sastavljanju ugovora iskoriste neke ranije formulacije koje se dobro uklapaju na određenim mestima.

Najzad, primena automatske klasifikacije dokumenata samo na osnovu njihovog sadržaja mogla bi veoma da olakša posao u održavanju arhiva i drugih velikih repozitorijuma dokumenata. Mogućnosti su zaista bezbrojne i ako ova inicijativa nastavi, Slobodan zaključuje da se slični rezultati mogu očekivati još brže i u drugim profesionalnim domenima.