Posle vesele atmosfere na DaFED-ovom trećem rođendanu u julu, avgustovsko okupljanje je bilo posvećeno aktuelnim IT temama - BigData i Graph Databases. U sredu, 5. avgusta u Amfiteatru centralne zgrade Univerziteta u Novom Sadu, zainteresovani su mogli više da saznaju o mogućnostima rešavanja kompleksnih problema u BigData svetu i o različitim načinima analize podataka, te se upoznaju sa Neo4j, graph bazom podataka.
Ozren Gulan – MapReduce: Which Way To Go?
Nakon kratkog uvoda o tome šta je zapravo BigData i na koji način se podaci mogu koristiti za rešavanje određenih kompleksnih problema, Ozren Gulan, IT konsultant i softver developer u kompaniji “Codecentric”, je objasnio različite načine obrade podataka u BigData svetu.
Prvi način obrade podataka je omogućen korišćenjem BatchProcessing pristupa, dok je najpopularniji način za analizu i obradu podataka MapReduce algoritam.
Ozren je u predavanju pokazao rezultate analize poređenja dva pristupa: Apache Pig i Java MapReduce.
A šta nas čeka u budućnosti?
Budućnost je već tu – a to je DataStreaming. DataStreaming nam omogućava real-time ili near-real-time analizu i procesuiranje podataka.
Već postoje nekoliko tehnologija koje se bave ovakvom analizom podataka, od kojih su neke Apache Storm, IBM Streams, Apache Samza, StreamBase, i druge.
Ozren je ukratko pokazao kako se Apache Spark, koji je započet kao deo doktorske disertacije, a 2013. dodeljen Apache fondaciji pod open source licencom, koristi za obradu podataka.
Do sada smo imali Forecasting – zaboravite forecasting, sada imamo Nowcasting.
Danas, Apache Spark uveliko koriste Yahoo, Amazon, eBay, i mnoge druge kompanije, a budući da je 10 do 100 puta brži od MapReduce-a, Spark je postavio novi svetski rekord u large-scale sorting-u.
Srđan Vranac – Neo4j, connecting the dots
Drugo predavanje je održao Srđan Vranac, developer i preduzetnik iz kompanije Code4Hire, koji je detaljnije upoznao publiku sa Neo4j, graph bazom podataka.
Neo4j je graph baza podataka otvorenog koda napisana u Javi, koja se najčešće koristi za skladištenje i prikaz kompleksnih i nestruktuiranih međusobno povezanih podataka.
Neo4j je jednostavana (baza podataka) za ono što treba da uradi.
Specifična struktura graph baze, kao i činjenica da su podaci i relacije u istoj ravni po važnosti, omogućava znatno bolje preformanse za razliku od drugih tipova baza (relacione). Neo4j se koristi u softverskoj analitici i u oblasti socijalnih, logističkih i telekomunikacionih mreža i njihovog modelovanja.
Baze podataka su stabilne, nude mnogo mogućnosti i omogućuvaju fleksibilnost, one prosto “rade”, ali takođe zadovoljavaju samo 90 % naših potreba, kako navodi Srđan.
Ali šta je sa preostalih 10%?
Pogledajte njegovo predavanje – Srđan je pokazao šta graph baze podataka mogu da učine za korisnike, ukazujući i na prednosti i mane pomenute baze.
Ostala zanimljiva predavanja sa prošlih DaFED okupljanja možete pronaći na YouTube kanalu organizacije.