DaFED#35: MapReduce i Neo4j Graph Database

DaFED#35 o MapReduce i Neo4j Graph Database – Nestruktuirani podaci i kako sa njima?

Posle vesele atmosfere na DaFED-ovom trećem rođendanu u julu, avgustovsko okupljanje je bilo posvećeno aktuelnim IT temama - BigData i Graph Databases. U sredu, 5. avgusta u Amfiteatru centralne zgrade Univerziteta u Novom Sadu, zainteresovani su mogli više da saznaju o mogućnostima rešavanja kompleksnih problema u BigData svetu i o različitim načinima analize podataka, te se upoznaju sa Neo4j, graph bazom podataka.

Ozren-Gulan

Ozren Gulan – MapReduce: Which Way To Go?

Nakon kratkog uvoda o tome šta je zapravo BigData i na koji način se podaci mogu koristiti za rešavanje određenih kompleksnih problema, Ozren Gulan, IT konsultant i softver developer u kompaniji “Codecentric”, je objasnio različite načine obrade podataka u BigData svetu.

Prvi način obrade podataka je omogućen korišćenjem BatchProcessing pristupa, dok je najpopularniji način za analizu i obradu podataka MapReduce algoritam.

Ozren je u predavanju pokazao rezultate analize poređenja dva pristupa: Apache Pig i Java MapReduce.

Molimo vas da prihvatite sve kolačiće kako biste mogli da vidite ovaj sadržaj

A šta nas čeka u budućnosti?

Budućnost je već tu  – a to je DataStreaming. DataStreaming nam omogućava real-time ili near-real-time analizu i procesuiranje podataka.

Već postoje nekoliko tehnologija koje se bave ovakvom analizom podataka, od kojih su neke Apache Storm, IBM Streams, Apache Samza, StreamBase, i druge.

Ozren je ukratko pokazao kako se Apache Spark, koji je započet kao deo doktorske disertacije, a 2013. dodeljen Apache fondaciji pod open source licencom, koristi za obradu podataka.

Do sada smo imali Forecasting – zaboravite forecasting, sada imamo Nowcasting.

Danas, Apache Spark uveliko koriste Yahoo, Amazon, eBay, i mnoge druge kompanije, a budući da je 10 do 100 puta brži od MapReduce-a, Spark je postavio novi svetski rekord u large-scale sorting-u.

Srđan-Vranac

Srđan Vranac – Neo4j, connecting the dots

Drugo predavanje je održao Srđan Vranac, developer i preduzetnik iz kompanije Code4Hire, koji je detaljnije upoznao publiku sa Neo4j, graph bazom podataka. 

Neo4j je graph baza podataka otvorenog koda napisana u Javi, koja se najčešće koristi za skladištenje i prikaz kompleksnih i nestruktuiranih međusobno povezanih podataka. 

Neo4j je jednostavana (baza podataka) za ono što treba da uradi.

Specifična struktura graph baze, kao i činjenica da su podaci i relacije u istoj ravni po važnosti, omogućava znatno bolje preformanse za razliku od drugih tipova baza (relacione).  Neo4j se koristi u softverskoj analitici i u oblasti socijalnih, logističkih i telekomunikacionih mreža i njihovog modelovanja.

Baze podataka su stabilne, nude mnogo mogućnosti i omogućuvaju fleksibilnost, one prosto “rade”, ali takođe zadovoljavaju samo 90 % naših potreba, kako navodi Srđan.

Ali šta je sa preostalih 10%?

Pogledajte njegovo predavanje – Srđan je pokazao šta graph baze podataka mogu da učine za korisnike, ukazujući i na prednosti i mane pomenute baze.

Molimo vas da prihvatite sve kolačiće kako biste mogli da vidite ovaj sadržaj

Ostala zanimljiva predavanja sa prošlih DaFED okupljanja možete pronaći na YouTube kanalu organizacije.

Želiš da podeliš svoje mišljenje o ovoj temi? Komentari su otvoreni na našoj Facebook i LinkedIn stranici!

Popularno

Kolumna

Po čemu srpski Zakon o digitalnoj imovini podseća na Azarov transfer iz Čelsija u Real?

Advokati Ilija Rilaković i dr Minja Đokić u zajedničkoj kolumni razjasnili su (ne)mogućnost plaćanja usluga stranih kompanija kripto valutom!

Sponzorisano

Kompanija Proximus u Srbiji zapošljava IT stručnjake i gradi inženjering timove

Proximus je došao na tržište Srbije još 2017. godine kada je preko svoje kompanije BICS postao vlasnik Telesigna. Ovom akvizicijom, Proximus počinje da zapošljava prve Market Development specijaliste, čime mladi talenti stiču mogućnost brzog učenja i razvoja u internacionalnom okruženju.

Office Talks Podcast

LinkedIn za šahiste broji 10.000 korisnika

Gošća 188. epizode Office Talks podkasta bila je Lena Miladinović, osnivačica OutpostChess platforme namenjene umrežavanju svih ljubitelja šaha — kako profesionalaca, tako i entuzijasta.

Propustili ste

Startapi i poslovanje

DSI investirao u Veli — kripto platformu za finansijske savetnike

Najnovija investicija DSI mreže poslovnih anđela otišla je startapu Veli, iza kojeg stoje Stevan Radonjanin i Marko Selaković. Ova platforma omogućava profesionalcima da investiraju u kriptovalute za svoje klijente i upravljaju njihovim portfeljima.

Office Talks Podcast

Trickest: Etičko hakovanje i ofanzivni cybersecurity

U 190. epizodi Office Talks podkasta razgovarali smo sa Nenadom Zarićem i Mihailom Tomićem, osnivačima startapa Trickest, koji su nam govorili o njegovom nastanku, cybersecurity industriji i etičkom hakovanju.

Startapi i poslovanje

Američki Autodesk akvizirao je novosadski Wonder Dynamics!

Wonder Dynamics akviziran je od strane američkog giganta za 3D animaciju, koji je ovaj potez objavio u jučerašnjem saopštenju na svom zvaničnom sajtu.

Internet marketing

AdEx 2023: Na digitalno oglašavanje u Srbiji potrošeno je €106,6 miliona

U sklopu Digital Day konferencije koju organizuje IABSerbia tradicionalno su predstavljeni rezultati AdEx istraživanja za 2023. godinu.

Intervju

NextSilicon razvija moćni čip za mnoge industrije i zapošljava nove IT stručnjake u Srbiji

Današnji svet počiva na hardverskim i softverskim sistemima i sigurno je da će budućnost modernog društva nastaviti da se bazira na sofisticiranim čipovima koji će pokretati globalnu industriju. Jedno od takvih rešenja razvija se i u Srbiji, tačnije u kompaniji NextSilicon.

Novost

Druga ETH Belgrade konferencija: Srbija ponovo centar okupljanja Web3 zajednice

Nakon velikog uspeha prve konferencije održane 2023. godine, druga po redu konferencija ETH Belgrade će se održati od 3. do 5. juna 2024.