Big Data inženjeri imaju važnu ulogu u razoju AI alata

Big Data inženjeri imaju važnu ulogu u razoju AI alata — evo koja su njihova zaduženja

Nastavak našeg specijala o 'vrelim letnjim trendovima' u IT- ju posvetili smo ulozi i značaju Big Data inženjera u svetu brzorastućih tehnologija zasnovanih na veštačkoj inteligenciji.

Razvojem tehnologija zasnovanih na veštačkoj inteligenciji uloga Big Data inženjera postaje sve važnija. Od upravljanja ogromnim količinama podataka do obezbeđivanja njihovog kvaliteta, integracije i bezbednosti, uloga ovih stručnjaka ključna je za uspeh AI projekata i aplikacija. Oni su zaduženi za gradnju infrastrukture, dizajniranje sistema i razvoj tokove posla, koji su neophodni da bi se nosili sa izazovima koje postavlja brza evolucija Big Data tehnologija i alata.

Njihova stručnost u upravljanju podacima, obradi, skalabilnosti, bezbednosti i obradi u realnom vremenu ključna je za kompanije koje žele da omoguće pun potencijal veštačke inteligencije. Više o zaduženjima Big Data inženjera, tehnologijama koje koriste u svom poslu, kanalima informisanja o najnovijim trendovima, ali i zaštiti podataka, ispričala nam je Ivana Isailović koja je na ovoj poziciji zaposlena u kompaniji Synechron.

Posvećenost učenju važna je zbog brze evolucije Big Data tehnologija i alata

Ivana je završila Elektrotehnički fakultet Univerziteta u Beogradu, na smeru Telekomunikacije, nakon čega se zaposlisla u jednoj telekomunikacionoj kompaniji, gde je radila godinu dana. Njena pozicija u tom periodu bila je telekomunikacioni inženjer, pri čemu je stekla iskustvo i priliku za primenu stečenog znanja. Međutim, tokom rada, otkrila je svoju strast prema oblasti Big Data:

Fasciniralo me kako se ogromne količine podataka mogu analizirati i pretvoriti u korisne informacije. Sve oko nas je prožeto informacijama, kao što su vreme, brzina kretanja automobila, temperatura vazduha, i mnoge druge. Prikupljajući i obrađujući te informacije, moguće je ostvariti neverovatne stvari. Zbog tog oduševljenja, odlučila sam se posvetiti upravo toj oblasti.

Njen prvi susret sa Big Data rešenjima bio je u domenu Telekomunikacija, a spajajući novu strast sa znanjem stečenim na fakultetu postigla je, kako kaže, odličan spoj. Kroz rad, stekla je dublje razumevanje analitičkih alata, programskih jezika i tehnologija koje su ključne u Big Data industriji. I tako, već pet godina, Ivana se bavi ovom oblašću i imala je priliku da radi na raznim projektima vezanim za analizu podataka i razvoj Big Data rešenja. Trenutno je zaposlena kao Big Data Inženjer u kompaniji Synechron, na poziciji koja obuhvata širok spektar odgovornosti i aktivnosti:

Pre svega, tu je analiza podataka (istraživanje i razumevanje podataka kako bi se identifikovali relevantni obrasci i trendovi koji mogu biti korisni za klijente), nakon čega sledi definisanje strukture podataka, odnosno modeliranje podataka (dizajniranje i definisanje strukture podataka koja će biti korišćena za organizovanje, skladištenje i obradu informacija), a u zavisnosti od prirode podataka i samih zahteva klijenata potrebno je odabrati odgovarajuću arhitekturu sistema.

Prema rečima naše sagovornice, najvažniji parametri u odabiru arhitekture jesu veličina i priroda podataka, tipovi podataka, brzina obrade, sigurnost i privatnost podataka, skalabilnost i na kraju, alati koji će se koristiti. Ona posebmo ističe da su razvoj i implementacija Big Data rešenja timski rad, gde svaki član tima preuzima odgovornost za svoj deo razvojnog procesa, pa se na kraju diskutuje o urađenom.

Pored svega navedenog, Ivana je zadužena za održavanje i nadzor Big Data sistema kako bi osigurala njihovu pouzdanost i optimalnu performansu. A kako izgleda njen uobičajen radni dan, opisala je na sledeći način:

Sve ove aktivnosti obavljam u saradnji s timom. Radim sa kolegama iz različitih oblasti kao što su DevOps inženjeri, QA stručnjaci, analitičari i programeri. Zajedno rešavamo složene probleme, razmenjujemo ideje i implementiramo celokupni Big Data proces. Tokom jednog tipičnog radnog dana, moje aktivnosti variraju u skladu sa fazom projekta i prioritetima. To uključuje sastanke sa timom gde se raspravlja o novim funkcionalnostima, optimizacijama i problemima, kao i programiranje i nadgledanje performansi sistema.

Na pitanje koja sve tehnička znanja mora da poseduje Big Data inženjer, Ivana nam je odgovorila da važne veštine za rad kao Big Data Inženjer uključuju razumevanje i iskustvo u programiranju, poznavanje Big Data tehnologija i baza podataka. Takođe, istakla je i analitičke koje su važne za izvlačenje korisnih informacija iz velikih količina podataka i rešavanje problema.

Kada su u pitanju netehničke veštine, ona smatra da su komunikacija i timski rad ključni za uspešnu saradnju sa kolegama, posvećenost učenju važna je zbog brze evolucije Big Data tehnologija i alata. A što se tiče alata i tehnologija koje upotrebljava u svom svakodnevnom poslu, naša sagovornica navela je sledeće:

Kao Big Data Inženjer, najčešće koristim Python i Scala programske jezike. Takođe, popularni alati poput Apache Spark-a i Apache Kafka-e koriste se za obradu i analizu podataka, u zavisnosti od načina prikupljanja podataka. Za obradu u realnom vremenu koristimo Apache Kafka, dok za obradu u grupama koristimo druge alate i tehnike. Skladištenje podataka se obavlja putem različitih opcija, kao što su Hadoop Distributed File System (HDFS), Cloud-native Environment File (CEF), Apache HBase, MongoDB i ElasticSearch koji se često koristi kao search engine.

Prema njenim rečima, pomenute tehnologije omogućavaju efikasno organizovanje, skladištenje i pretragu velikih količina podataka u Big Data okruženjima, što joj omogućava da što efikasnije i ispravnije obavlja svoj posao.

Važno je ostati u toku sa trendovima i novostima iz tehnologije

O trendovima i najnovijim tehnologijama koje su bitne za njenu profesiju, Ivana se informiše putem raznih kanala i izvora kao što su stručni blogovi, vebinari i tehnički članci koji se bave Big Data oblastima. Kako kaže, ovi izvori pružaju joj detaljne informacije o najnovijim trendovima, alatima i tehnikama koji se koriste u industriji. Takođe, ona  često prati tehničke konferencije i događaje:

Nakon pandemije koja nas je zadesila, najviše pratim ove događaje online, kao i online zajednice, gde mogu da se povežem s drugim developerima i inženjerima, postavljam pitanja, razmenjujem ideje i učim iz njihovih iskustava. Ovi resursi pružaju detaljna objašnjenja, praktične primere i vežbe koje pomažu u produbljivanju znanja i veština. Posebno koristim online platforme kao što su Udemy, Pluralsight i mnoge druge za pristup širokom spektru ‘online’ kurseva.

Ove platforme pružaju obuke i omogućavaju mi da učim po sopstvenom tempu i prilagođavam svoj raspored. Uz to, redovno učestvujem u internim obukama i radionicama koje organizuje moja kompanija. Ove sesije su prilika da se uči od stručnjaka unutar kompanije i da se primenjuju najnovije tehnike i alati u praktičnom okruženju.

Pred navedenog, Ivana je redovna učesnica na radionicama za usavršavanje soft veština kao što su komunikacija, timski rad, upravljanje projektima i upravljanje vremenom. Prema njenom mišljenju, ove veštine ključne su za uspeh u profesionalnom okruženju i pomažu joj da efikasno sarađuje sa kolegama i klijentima. Zahvaljujući svemu tome, ona ostaje u toku sa najnovijim trendovima i tehnologijama u industriji Big Data, te kontinuirano unapređuje svoje veštine i tako osigurava da pružanje  najboljih mogućih rešenja.

Iza sebe, Ivana ima nekoliko uspešnih projekata, od kojih je svaki bio izazovan i zanimljiv na svoj način. Kroz projekte, na kojima su se njena zaduženja uglavnom odnosila na istraživanje i odabir alata, odabir arhitekture, modeliranje, obradu i čuvanje podataka u sistemu, stekla je vredna iskustva i znanja, ali je bilo i izazova sa kojima se susretala:

Svaki projekat je donosio sa sobom svoje izazove i probleme. Ponekad smo se suočavali s potrebom za promenom modela podataka ili čak razmišljali o uvođenju dodatnih alata u sistem radi poboljšanja performansi ili efikasnosti. Moj moto je uvek bio da svaki problem ima svoje rešenje. Timski rad i angažovanje omogućavaju da pronađemo adekvatne odgovore na sve izazove s kojima smo se susretali. Ključ uspeha projekta je upravo tim.

Uporno traženje rešenja za izazove koje je prošla, motivisalo ju je da nastavi napred, a veruje i u to da su upravo teške situacije te koje nam omogućavaju da rastemo i unapređujemo svoje veštine. Takođe, naša sagovornica smatra da bez njih projekti ne bi bili toliko dinamični i interesantni, a kroz svoje iskustvo, shvatila je da je svaki projekat prilika za učenje i rast. Zato se uvek raduje novim izazovima, i spremno ih čeka.

Kao što je Ivana već pomenula na početku našeg razgovora, timska saradnja je od izuzetne važnosti u njenom poslu. Pored nje, tim čine projektni menadžer, biznis analitičar, Java programea, DevOps i QA specijalista i Big Data inženjer. A, kako njihova saradnja izgleda na dnevnom nivou, objasnila nam je na sledeći način:

Naša komunikacija se odvija na različitim nivoima. Imamo redovne sastanke gde razmenjujemo informacije, definišemo ciljeve projekta i usklađujemo naše aktivnosti. Ovi sastanci omogućavaju nam da se upoznamo sa zahtevima i očekivanjima. Takođe, koristimo alate za komunikaciju, aplikacije za razmenu brzih poruka i deljenje informacija. Ovi kanali omogućavaju nam da brzo komuniciramo, postavljamo pitanja i razrešavamo manje probleme u realnom vremenu.

Ali, kada se suoče s većim izazovima ili kompleksnim problemima, Ivana i njen tim organizuju sastanke gde detaljnije analiziraju situaciju, razmatraju različite perspektive i traže nova rešenja. Naša sagovornica posebno ističe otvorenu komunikaciju, međusobno razumevanje i efikasnu saradnju, što im omogućava da zajedno postižu ciljeve projekta i pružaju kvalitetna rešenja.

Posao Big Data inženjera, obuhvata širok spektar odgovornosti i aktivnosti.

Big Data inženjer ima ključnu ulogu u razvoju veštačke inteligencije

Kada govorimo o ekspanziji veštačke inteligencije, Ivana nam je objasnila da Big Data inženjer ima važnu ulogu u ovoj oblasti, jer obezbeđuje infrastrukturu i alate za obradu, skladištenje i analizu velikih količina podataka koji su potrebni za AI sisteme. Kako dalje navodi, postoje tačke spajanja između Big Data-e razvoja i veštačke inteligencije na nekoliko nivoa:

Prvo, Big Data inzenjer prikuplja, filtrira i priprema podatke kako bi bili pogodni za analizu i korišćenje u AI sistemima. Ova faza je ključna jer kvalitetni i dobro strukturirani podaci su osnova za pouzdane rezultate veštačke inteligencije. Takođe, Big Data inženjer radi na optimizaciji performansi AI sistema. Oni primenjuju tehnike paralelizacije i distribuirane obrade podataka kako bi omogućili brzu i efikasnu obradu velikih količina podataka koje zahteva veštačka inteligencija.

Zbog svega gorenavedenog, Big Data inženjeri imaju jednu od ključnih uloga u podržavanju veštačke inteligencije, a Ivana posebno ističe njihov doprinos AI sistemima da budu efikasni, precizni i sposobni da izvlače značenje iz obilja podataka. Ona dodaje da je u pitanju inovativna tehnologija koja se brzo širi i postepeno ulazi sve aspekte našeg svakodnevnog života, koja je već pokazala ogroman potencijal u transformaciji načina na koji radimo, komuniciramo i donosimo odluke.

Osiguravanje relevantnosti i tačnosti podataka koji se koriste u sistemima veštačke inteligencije (AI) ključno je za postizanje pouzdanih i efikasnih rezultata, zbog čega nam je Ivana navela nekoliko načina kako je to moguće postići:

Pre svega, bitan je kvalitet podataka koji se koriste u AI sistemima, što znači da oni treba da budu precizni, ažurirani i pouzdani. Zatim tu je validacija i verifikacija podataka, jer je pre upotrebe podataka u AI sistemima važno utvrditi njihovu tačnost i pouzdanost. Slede, praćenje i nadzor podataka u AI sistemima, što je ključno za održavanje njihove tačnosti i relevantnosti tokom vremena.

Najzad, veoma je važno osigurati da se podaci koriste na način koji je u skladu sa zakonskim propisima i etičkim standardima.To podrazumeva poštovanje privatnosti podataka, osiguravanje anonimnosti kada je potrebno i zaštitu osetljivih informacija.

Sve ove prakse i postupci pomažu u osiguravanju relevantnosti i tačnosti podataka u sistemima veštačke inteligencije. Kao Big Data inženjer, Ivana je odgovorna za primenu navedenih mera i konstantno praćenje i unapređivanje kvaliteta podataka kako bi ona i njen tim obezbedili uspešnu primenu veštačke inteligencije. Međutim, ona navodi da u praksi nije uvek sve tako, jer veoma puno informacija bude netačno, pa je neophodno biti posebno obazriv kako bi se sve potencijalne greške svele na minimum.

Zaštita privatnosti i bezbednosti su na prvom mestu za Big Data inženjere

Zaštita privatnosti i bezbednosti podataka je od suštinske važnosti u eri Big Data podataka i veštačke inteligencije. U skladu sa time, Ivana objašnjava da mere koje se mogu preduzeti kako bi se zaštitile osetljive informacije i obezbedila usklađenost s odgovarajućim propisima jeste korišćenje enkripcije, zatim autentifikacije i autorizacije u sistemu, korišćenje firewall-a i sistema za otkrivanje napada i upada na sistem. Uz to, ona navodi i sledeće:

Veoma je važno konstantno testirati sistem kako bi pronašli neke nedostatke i ranjivosti i kako bi otklonili eventualne probleme. Pored ovakvih mera potrebno je uskladiti sistem i pridržavati se propisa o zaštiti podataka. Za svakog Big Data inženjera, a i za svakog člana tima bitna je edukacija i svest o bezbednosti podataka. Bitno je da svi u timu budu upoznati sa potencijalnim opasnostima i da prepoznaju kako da reaguju na probleme.

Zato je važno pridržavati se internih procedura o zaštiti podataka. Baš iz tog razloga, poslovne računare nije preporučljivo koristiti za privatne svrhe. Jedna od mera je i ograničavanje pristupa osetljivim informacijama. Svaki član ima svoju ulogu na sistemu i u skladu sa tim različiti nivo autentifikacije na istom. Uz primenu ovih mera, organizacije mogu smanjiti rizik od neovlašćenog pristupa, zloupotrebe i curenja osetljivih informacija.

Ona veruje da će veštačka inteligencija sve više imati prisustvo u našem svakodnevnom životu, kako u radnom, tako i u privatnom okruženju, jer svake godine količina dostupnih podataka eksponencijalno raste. Nadalje, ona navodi da ovi podaci predstavljaju vredan resurs koji, uz pomoć veštačke inteligencije pruža dosta mogućnostii, ali da je i važno imati na umu da količina podataka sama po sebi nije merilo kvaliteta ili vrednosti. Najzad, uz brojne prednosti, Ivana smatra da treba biti i oprezan, naročito kada su pitanju etičke norme vezane za upotrebu veštačke inteligencije:

Smatram da automatizacija procesa na osnovu podataka ima brojne prednosti. Društvo teži sve većoj automatizaciji. Na primer veštačka inteligencija omogućava mašinama da uče iz podataka i pruže nam odgovore i rešenja na osnovu složenih algoritama i analiza. Već sad imam mašine koje vrše hiruške zahvate, pametne satove koje mere pritisak, puls. Međutim, treba biti oprezan i pažljivo pratiti etičke aspekte upotrebe podataka. Kao društvo, imamo odgovornost da pažljivo koristimo veštačku inteligenciju i podatke kako bismo ostvarili pozitivne promene i napredak.

U narednom periodu, naša sagovornica očekuje još mnogo novih alata, inovacija i tehnika koji će nam pomoći da optimizujemo i omogućiti još napredniju analizu i realizaciju novih Big Data sistema. I što je najvažnije, ona se nada brojnim izazovima koji je očekuju.


Želiš da podeliš svoje mišljenje o ovoj temi? Komentari su otvoreni na našoj Facebook i LinkedIn stranici!

Popularno

Startapi i poslovanje

Infobip Connect — unapredite svoj startap uz AI tehnologije!

Uz podršku kompanije Tenderly, Infobip u Beogradu organizuje meetup posvećen startapima koji žele da implementiraju veštačku inteligenciju u svoje poslovanje.

Karijere

Sanja Žugić preuzima vođenje studija Playstudios Europe

Zahvaljujući stručnim i sposobnim ljudima, 'game dev' industrija u Srbiji i dalje raste. Donosimo vam još jednu u nizu inspirativnih priča koja dokazuje ovu tvrdnju.

Tehnologija

Domaća aplikacija ‘Vozzi’ za pomoć na putu zvanično prestaje sa radom

Servis 'Vozzi' za pomoć vozačima na putu o kojem je Netokracija ranije pisala, zvanično prestaje sa radom usled komplikacija sa poslovanjem na domaćem tržištu. Saopštenje ove kompanije, prenosimo u celosti.

Propustili ste

Tehnologija

Galaksija kup: Srednjoškolci iz Srbije prave hardvere koji menjaju živote ljudi!

Pametne naočare za ljude oštećenog sluha, makro programabilna tastatura i daljinski sistem za kontrolu prikupljanja reciklažnog otpada. Upoznajte inovativne projekte učenika koji su osvojili prva tri mesta na ovogodišnjem Galaksija kupu — takmičenju srednjoškolaca elektrotehničkih škola iz cele Srbije.

Intervju

Domaća kompanija Vega IT nastavlja globalno širenje otvaranjem kancelarije u Londonu

Tokom prošle godine postali smo svedoci značajnih turbulencija u IT industriji. Dok se mnoge globalne kompanije fokusiraju na optimizaciju troškova, zamrzavanje plata i masovna otpuštanja, Vega IT, kao domaći igrač, nastavlja sa širenjem na globalno tržište.

Startapi i poslovanje

LavitFlow je ‘alat za sve’ koji koristi 180 programera, product menadžera i web dizajnera

U pitanju je proizvod kompanije Lav IT Solutions koji ubrzava radne procese zaposlenih u savremenom poslovnom svetu. A kako? Pitali smo Miroslava Ostojića, osnivača pomenute kompanije.

Office Talks Podcast

Prodaja IT usluga : Saveti direktora prodaje Hooloova

Gost 185. epizode Office Talks podkasta bio je Đorđe Vukotić, prodajni direktor u kompaniji Hooloovoo koji nam je objasnio kako izgraditi uspešan sales tim u domenu IT industrije.

Startapi i poslovanje

‘Fundraising’ za startape iz ljudske perspektive

Pre nego što započnemo ovaj razgovor, želeo bih da zamislite da smo na jednoj prijateljskoj kafi i sve što ćete čuti tj. pročitati je nešto što bih, lično, voleo da je meni neko ispričao (mnogo grešaka i pristupa) ranije.

Karijere

Social Impact Award program pomaže 10.000 mladih preduzetnika godišnje

Nevladina organizacija Razlivalište već devet godina uspešno sprovodi globalni Social Impact Award (SIA) program podrške društvenom preduzetništvu. Ukoliko imate između 15 i 30 godina i želite da uplovite u preduzetničke vode, sve o programu pročitajte u tekstu koji sledi!