Big Data inženjeri imaju važnu ulogu u razoju AI alata — evo koja su njihova zaduženja

Razvojem tehnologija zasnovanih na veštačkoj inteligenciji uloga Big Data inženjera postaje sve važnija. Od upravljanja ogromnim količinama podataka do obezbeđivanja njihovog kvaliteta, integracije i bezbednosti, uloga ovih stručnjaka ključna je za uspeh AI projekata i aplikacija. Oni su zaduženi za gradnju infrastrukture, dizajniranje sistema i razvoj tokove posla, koji su neophodni da bi se nosili sa izazovima koje postavlja brza evolucija Big Data tehnologija i alata.

Njihova stručnost u upravljanju podacima, obradi, skalabilnosti, bezbednosti i obradi u realnom vremenu ključna je za kompanije koje žele da omoguće pun potencijal veštačke inteligencije. Više o zaduženjima Big Data inženjera, tehnologijama koje koriste u svom poslu, kanalima informisanja o najnovijim trendovima, ali i zaštiti podataka, ispričala nam je Ivana Isailović koja je na ovoj poziciji zaposlena u kompaniji Synechron.

Posvećenost učenju važna je zbog brze evolucije Big Data tehnologija i alata

Ivana je završila Elektrotehnički fakultet Univerziteta u Beogradu, na smeru Telekomunikacije, nakon čega se zaposlisla u jednoj telekomunikacionoj kompaniji, gde je radila godinu dana. Njena pozicija u tom periodu bila je telekomunikacioni inženjer, pri čemu je stekla iskustvo i priliku za primenu stečenog znanja. Međutim, tokom rada, otkrila je svoju strast prema oblasti Big Data:

Fasciniralo me kako se ogromne količine podataka mogu analizirati i pretvoriti u korisne informacije. Sve oko nas je prožeto informacijama, kao što su vreme, brzina kretanja automobila, temperatura vazduha, i mnoge druge. Prikupljajući i obrađujući te informacije, moguće je ostvariti neverovatne stvari. Zbog tog oduševljenja, odlučila sam se posvetiti upravo toj oblasti.

Njen prvi susret sa Big Data rešenjima bio je u domenu Telekomunikacija, a spajajući novu strast sa znanjem stečenim na fakultetu postigla je, kako kaže, odličan spoj. Kroz rad, stekla je dublje razumevanje analitičkih alata, programskih jezika i tehnologija koje su ključne u Big Data industriji. I tako, već pet godina, Ivana se bavi ovom oblašću i imala je priliku da radi na raznim projektima vezanim za analizu podataka i razvoj Big Data rešenja. Trenutno je zaposlena kao Big Data Inženjer u kompaniji Synechron, na poziciji koja obuhvata širok spektar odgovornosti i aktivnosti:

Pre svega, tu je analiza podataka (istraživanje i razumevanje podataka kako bi se identifikovali relevantni obrasci i trendovi koji mogu biti korisni za klijente), nakon čega sledi definisanje strukture podataka, odnosno modeliranje podataka (dizajniranje i definisanje strukture podataka koja će biti korišćena za organizovanje, skladištenje i obradu informacija), a u zavisnosti od prirode podataka i samih zahteva klijenata potrebno je odabrati odgovarajuću arhitekturu sistema.

Prema rečima naše sagovornice, najvažniji parametri u odabiru arhitekture jesu veličina i priroda podataka, tipovi podataka, brzina obrade, sigurnost i privatnost podataka, skalabilnost i na kraju, alati koji će se koristiti. Ona posebmo ističe da su razvoj i implementacija Big Data rešenja timski rad, gde svaki član tima preuzima odgovornost za svoj deo razvojnog procesa, pa se na kraju diskutuje o urađenom.

Pored svega navedenog, Ivana je zadužena za održavanje i nadzor Big Data sistema kako bi osigurala njihovu pouzdanost i optimalnu performansu. A kako izgleda njen uobičajen radni dan, opisala je na sledeći način:

Sve ove aktivnosti obavljam u saradnji s timom. Radim sa kolegama iz različitih oblasti kao što su DevOps inženjeri, QA stručnjaci, analitičari i programeri. Zajedno rešavamo složene probleme, razmenjujemo ideje i implementiramo celokupni Big Data proces. Tokom jednog tipičnog radnog dana, moje aktivnosti variraju u skladu sa fazom projekta i prioritetima. To uključuje sastanke sa timom gde se raspravlja o novim funkcionalnostima, optimizacijama i problemima, kao i programiranje i nadgledanje performansi sistema.

Na pitanje koja sve tehnička znanja mora da poseduje Big Data inženjer, Ivana nam je odgovorila da važne veštine za rad kao Big Data Inženjer uključuju razumevanje i iskustvo u programiranju, poznavanje Big Data tehnologija i baza podataka. Takođe, istakla je i analitičke koje su važne za izvlačenje korisnih informacija iz velikih količina podataka i rešavanje problema.

Kada su u pitanju netehničke veštine, ona smatra da su komunikacija i timski rad ključni za uspešnu saradnju sa kolegama, posvećenost učenju važna je zbog brze evolucije Big Data tehnologija i alata. A što se tiče alata i tehnologija koje upotrebljava u svom svakodnevnom poslu, naša sagovornica navela je sledeće:

Kao Big Data Inženjer, najčešće koristim Python i Scala programske jezike. Takođe, popularni alati poput Apache Spark-a i Apache Kafka-e koriste se za obradu i analizu podataka, u zavisnosti od načina prikupljanja podataka. Za obradu u realnom vremenu koristimo Apache Kafka, dok za obradu u grupama koristimo druge alate i tehnike. Skladištenje podataka se obavlja putem različitih opcija, kao što su Hadoop Distributed File System (HDFS), Cloud-native Environment File (CEF), Apache HBase, MongoDB i ElasticSearch koji se često koristi kao search engine.

Prema njenim rečima, pomenute tehnologije omogućavaju efikasno organizovanje, skladištenje i pretragu velikih količina podataka u Big Data okruženjima, što joj omogućava da što efikasnije i ispravnije obavlja svoj posao.

Važno je ostati u toku sa trendovima i novostima iz tehnologije

O trendovima i najnovijim tehnologijama koje su bitne za njenu profesiju, Ivana se informiše putem raznih kanala i izvora kao što su stručni blogovi, vebinari i tehnički članci koji se bave Big Data oblastima. Kako kaže, ovi izvori pružaju joj detaljne informacije o najnovijim trendovima, alatima i tehnikama koji se koriste u industriji. Takođe, ona  često prati tehničke konferencije i događaje:

Nakon pandemije koja nas je zadesila, najviše pratim ove događaje online, kao i online zajednice, gde mogu da se povežem s drugim developerima i inženjerima, postavljam pitanja, razmenjujem ideje i učim iz njihovih iskustava. Ovi resursi pružaju detaljna objašnjenja, praktične primere i vežbe koje pomažu u produbljivanju znanja i veština. Posebno koristim online platforme kao što su Udemy, Pluralsight i mnoge druge za pristup širokom spektru ‘online’ kurseva.

Ove platforme pružaju obuke i omogućavaju mi da učim po sopstvenom tempu i prilagođavam svoj raspored. Uz to, redovno učestvujem u internim obukama i radionicama koje organizuje moja kompanija. Ove sesije su prilika da se uči od stručnjaka unutar kompanije i da se primenjuju najnovije tehnike i alati u praktičnom okruženju.

Pred navedenog, Ivana je redovna učesnica na radionicama za usavršavanje soft veština kao što su komunikacija, timski rad, upravljanje projektima i upravljanje vremenom. Prema njenom mišljenju, ove veštine ključne su za uspeh u profesionalnom okruženju i pomažu joj da efikasno sarađuje sa kolegama i klijentima. Zahvaljujući svemu tome, ona ostaje u toku sa najnovijim trendovima i tehnologijama u industriji Big Data, te kontinuirano unapređuje svoje veštine i tako osigurava da pružanje  najboljih mogućih rešenja.

Iza sebe, Ivana ima nekoliko uspešnih projekata, od kojih je svaki bio izazovan i zanimljiv na svoj način. Kroz projekte, na kojima su se njena zaduženja uglavnom odnosila na istraživanje i odabir alata, odabir arhitekture, modeliranje, obradu i čuvanje podataka u sistemu, stekla je vredna iskustva i znanja, ali je bilo i izazova sa kojima se susretala:

Svaki projekat je donosio sa sobom svoje izazove i probleme. Ponekad smo se suočavali s potrebom za promenom modela podataka ili čak razmišljali o uvođenju dodatnih alata u sistem radi poboljšanja performansi ili efikasnosti. Moj moto je uvek bio da svaki problem ima svoje rešenje. Timski rad i angažovanje omogućavaju da pronađemo adekvatne odgovore na sve izazove s kojima smo se susretali. Ključ uspeha projekta je upravo tim.

Uporno traženje rešenja za izazove koje je prošla, motivisalo ju je da nastavi napred, a veruje i u to da su upravo teške situacije te koje nam omogućavaju da rastemo i unapređujemo svoje veštine. Takođe, naša sagovornica smatra da bez njih projekti ne bi bili toliko dinamični i interesantni, a kroz svoje iskustvo, shvatila je da je svaki projekat prilika za učenje i rast. Zato se uvek raduje novim izazovima, i spremno ih čeka.

Kao što je Ivana već pomenula na početku našeg razgovora, timska saradnja je od izuzetne važnosti u njenom poslu. Pored nje, tim čine projektni menadžer, biznis analitičar, Java programea, DevOps i QA specijalista i Big Data inženjer. A, kako njihova saradnja izgleda na dnevnom nivou, objasnila nam je na sledeći način:

Naša komunikacija se odvija na različitim nivoima. Imamo redovne sastanke gde razmenjujemo informacije, definišemo ciljeve projekta i usklađujemo naše aktivnosti. Ovi sastanci omogućavaju nam da se upoznamo sa zahtevima i očekivanjima. Takođe, koristimo alate za komunikaciju, aplikacije za razmenu brzih poruka i deljenje informacija. Ovi kanali omogućavaju nam da brzo komuniciramo, postavljamo pitanja i razrešavamo manje probleme u realnom vremenu.

Ali, kada se suoče s većim izazovima ili kompleksnim problemima, Ivana i njen tim organizuju sastanke gde detaljnije analiziraju situaciju, razmatraju različite perspektive i traže nova rešenja. Naša sagovornica posebno ističe otvorenu komunikaciju, međusobno razumevanje i efikasnu saradnju, što im omogućava da zajedno postižu ciljeve projekta i pružaju kvalitetna rešenja.

Big Data inženjer ima ključnu ulogu u razvoju veštačke inteligencije

Kada govorimo o ekspanziji veštačke inteligencije, Ivana nam je objasnila da Big Data inženjer ima važnu ulogu u ovoj oblasti, jer obezbeđuje infrastrukturu i alate za obradu, skladištenje i analizu velikih količina podataka koji su potrebni za AI sisteme. Kako dalje navodi, postoje tačke spajanja između Big Data-e razvoja i veštačke inteligencije na nekoliko nivoa:

Prvo, Big Data inzenjer prikuplja, filtrira i priprema podatke kako bi bili pogodni za analizu i korišćenje u AI sistemima. Ova faza je ključna jer kvalitetni i dobro strukturirani podaci su osnova za pouzdane rezultate veštačke inteligencije. Takođe, Big Data inženjer radi na optimizaciji performansi AI sistema. Oni primenjuju tehnike paralelizacije i distribuirane obrade podataka kako bi omogućili brzu i efikasnu obradu velikih količina podataka koje zahteva veštačka inteligencija.

Zbog svega gorenavedenog, Big Data inženjeri imaju jednu od ključnih uloga u podržavanju veštačke inteligencije, a Ivana posebno ističe njihov doprinos AI sistemima da budu efikasni, precizni i sposobni da izvlače značenje iz obilja podataka. Ona dodaje da je u pitanju inovativna tehnologija koja se brzo širi i postepeno ulazi sve aspekte našeg svakodnevnog života, koja je već pokazala ogroman potencijal u transformaciji načina na koji radimo, komuniciramo i donosimo odluke.

Osiguravanje relevantnosti i tačnosti podataka koji se koriste u sistemima veštačke inteligencije (AI) ključno je za postizanje pouzdanih i efikasnih rezultata, zbog čega nam je Ivana navela nekoliko načina kako je to moguće postići:

Pre svega, bitan je kvalitet podataka koji se koriste u AI sistemima, što znači da oni treba da budu precizni, ažurirani i pouzdani. Zatim tu je validacija i verifikacija podataka, jer je pre upotrebe podataka u AI sistemima važno utvrditi njihovu tačnost i pouzdanost. Slede, praćenje i nadzor podataka u AI sistemima, što je ključno za održavanje njihove tačnosti i relevantnosti tokom vremena.

Najzad, veoma je važno osigurati da se podaci koriste na način koji je u skladu sa zakonskim propisima i etičkim standardima.To podrazumeva poštovanje privatnosti podataka, osiguravanje anonimnosti kada je potrebno i zaštitu osetljivih informacija.

Sve ove prakse i postupci pomažu u osiguravanju relevantnosti i tačnosti podataka u sistemima veštačke inteligencije. Kao Big Data inženjer, Ivana je odgovorna za primenu navedenih mera i konstantno praćenje i unapređivanje kvaliteta podataka kako bi ona i njen tim obezbedili uspešnu primenu veštačke inteligencije. Međutim, ona navodi da u praksi nije uvek sve tako, jer veoma puno informacija bude netačno, pa je neophodno biti posebno obazriv kako bi se sve potencijalne greške svele na minimum.

Zaštita privatnosti i bezbednosti su na prvom mestu za Big Data inženjere

Zaštita privatnosti i bezbednosti podataka je od suštinske važnosti u eri Big Data podataka i veštačke inteligencije. U skladu sa time, Ivana objašnjava da mere koje se mogu preduzeti kako bi se zaštitile osetljive informacije i obezbedila usklađenost s odgovarajućim propisima jeste korišćenje enkripcije, zatim autentifikacije i autorizacije u sistemu, korišćenje firewall-a i sistema za otkrivanje napada i upada na sistem. Uz to, ona navodi i sledeće:

Veoma je važno konstantno testirati sistem kako bi pronašli neke nedostatke i ranjivosti i kako bi otklonili eventualne probleme. Pored ovakvih mera potrebno je uskladiti sistem i pridržavati se propisa o zaštiti podataka. Za svakog Big Data inženjera, a i za svakog člana tima bitna je edukacija i svest o bezbednosti podataka. Bitno je da svi u timu budu upoznati sa potencijalnim opasnostima i da prepoznaju kako da reaguju na probleme.

Zato je važno pridržavati se internih procedura o zaštiti podataka. Baš iz tog razloga, poslovne računare nije preporučljivo koristiti za privatne svrhe. Jedna od mera je i ograničavanje pristupa osetljivim informacijama. Svaki član ima svoju ulogu na sistemu i u skladu sa tim različiti nivo autentifikacije na istom. Uz primenu ovih mera, organizacije mogu smanjiti rizik od neovlašćenog pristupa, zloupotrebe i curenja osetljivih informacija.

Ona veruje da će veštačka inteligencija sve više imati prisustvo u našem svakodnevnom životu, kako u radnom, tako i u privatnom okruženju, jer svake godine količina dostupnih podataka eksponencijalno raste. Nadalje, ona navodi da ovi podaci predstavljaju vredan resurs koji, uz pomoć veštačke inteligencije pruža dosta mogućnostii, ali da je i važno imati na umu da količina podataka sama po sebi nije merilo kvaliteta ili vrednosti. Najzad, uz brojne prednosti, Ivana smatra da treba biti i oprezan, naročito kada su pitanju etičke norme vezane za upotrebu veštačke inteligencije:

Smatram da automatizacija procesa na osnovu podataka ima brojne prednosti. Društvo teži sve većoj automatizaciji. Na primer veštačka inteligencija omogućava mašinama da uče iz podataka i pruže nam odgovore i rešenja na osnovu složenih algoritama i analiza. Već sad imam mašine koje vrše hiruške zahvate, pametne satove koje mere pritisak, puls. Međutim, treba biti oprezan i pažljivo pratiti etičke aspekte upotrebe podataka. Kao društvo, imamo odgovornost da pažljivo koristimo veštačku inteligenciju i podatke kako bismo ostvarili pozitivne promene i napredak.

U narednom periodu, naša sagovornica očekuje još mnogo novih alata, inovacija i tehnika koji će nam pomoći da optimizujemo i omogućiti još napredniju analizu i realizaciju novih Big Data sistema. I što je najvažnije, ona se nada brojnim izazovima koji je očekuju.