Ko je analitičar Big Data i čime se bavi?
Analitičar velikih podataka je stručnjak koji prikuplja, obrađuje, analizira i proučava velike količine „sirovih“ podataka u različitim formatima. On pronalazi obrasce, identifikuje vrijedne informacije iz ukupnog volumena i na osnovu njih donosi ključne odluke. Na primjer, određuje tržišne trendove, optimizira troškove, pokreće nove projekte itd.
Evo jednostavnih primjera onoga što Big Data Analyst može analizirati:
- Istorija narudžbi/kupovina u supermarketima ili online prodavnicama za kreiranje personalizovanih preporuka, prognoza potražnje ili cena robe.
- Transakcije u bankarskim i finansijskim institucijama za identifikaciju lažnih šema ili izračunavanje pojedinačnih uslova, kao što su kreditne stope.
- Obavlja telefonske pozive pozivnom centru da procijeni kvalitet usluge, učinak osoblja i otkloni uobičajene probleme.
- Zagušenja na putevima, vremenski uslovi, potražnja za taksi uslugama, tako da sistem može izgraditi optimalnu rutu, kao i izračunati cijenu putovanja.
Big Data se razlikuje od konvencionalne analitike. Specijalista za velike podatke radi sa ogromnim količinama informacija (terabajti), koje se redovno ažuriraju i imaju heterogenu strukturu: tekstovi, tabele, slike, audio, video materijali itd.
Njegove odgovornosti
Odgovornosti specijaliste ovise o tome koje probleme iu kojim industrijama rješava: gradi sisteme preporuka, predviđa indikatore za buduća razdoblja, testira pretpostavke itd.
Hajde da vam kažemo šta generalno radi Big Data Analyst:
- Izrađuje tehničke specifikacije u skladu sa ciljevima, potrebama i zahtjevima kupca.
- Odabire izvore za prikupljanje informacija.
- Prikuplja materijal za istraživanje, strukturira ga i priprema za naknadnu analizu, otklanja greške i propuste koji mogu uticati na rezultat.
- Vizualizira informacije kako bi se formulirale preliminarne hipoteze i vidjeli mogući obrasci u skupovima podataka.
- Analizira odabrani skup podataka koristeći metode matematičke statistike i teorije vjerovatnoće, identificirajući korelacije između skupova podataka.
- Razvija i testira različite modele mašinskog učenja .
- Formulira rezultate obrade i donosi zaključk
Ono što analitičar velikih podataka treba da zna i umije da uradi
Specijalista za velike podatke mora poznavati specifičnosti industrije u kojoj radi: online prodaja, maloprodaja, logistika, finansije itd. Mora biti sposoban programirati i izgraditi matematičke modele.
Osnovna znanja i vještine analitičara velikih podataka:
- Teorija vjerovatnoće, metode statističke analize podataka: grupisanje, regresija, faktor, varijansa, korelaciona analiza.
- SQL za rad sa bazama podataka: pisanje upita, preuzimanje potrebnih informacija, sortiranje, filtriranje itd.
- Programski jezik Python , njegove biblioteke i okviri – Numpy, Pandas, Matplotlib, itd.
- Apache Spark okvir za obradu nestrukturiranih i slabo strukturiranih podataka.
- PySpark paket za upravljanje velikim podacima i mašinskim učenjem.
- Skup Hadoop uslužnih programa i MapReduce model.
- Data Lake je spremište za istovremeno skladištenje podataka u različitim šemama i formatima.
- Programi za vizualizaciju podataka, kao što je Power BI .
- Linux operativni sistem i Bash komandna linija.
- Engleski jezik na nivou razumijevanja tehničkih informacija
Mjesto rada
Big Data tehnologija se koristi u mnogim industrijama. Na primjer, u trgovini pomaže u prepoznavanju trendova i potražnje za određenom robom, u industriji pomaže u predviđanju obima proizvodnje i smanjenju troškova proizvodnje, u društvenim mrežama pomaže u proučavanju ponašanja korisnika i uvođenju novih opcija.
Navodimo područja u kojima su stručnjaci za velike podatke traženi:
- Sve oblasti vezane za prodaju: maloprodaja, internet prodavnice, nekretnine, usluge itd.
- Online usluge s pristupom sadržaju: elektronske biblioteke, bioskopi, streaming servisi, video igrice itd.
- IT, telekomunikacije, pretraživači, sigurnost informacija .
- Transportne kompanije, logistički centri, usluge dostave.
- Banke, finansijske i osiguravajuće organizacije, platni sistemi.
- Proizvodnja, poljoprivreda, industrijska preduzeća.
- Zdravstvo, praćenje rizika od morbiditeta.
- Industrije visoke tehnologije, na primjer, virtualna i proširena stvarnost , umjetna inteligencija .
Prednosti i mane profesije analitičara velikih podataka
Procijenili smo profesiju sa svih strana i pripremili uporednu tabelu koja pokazuje s kojim se prednostima i nedostacima suočava analitičar velikih podataka u svom radu.
| Visok ulazni prag – morate znati matematiku, teoriju vjerovatnoće, statistiku, programiranje | Obrazovanje možete dobiti na univerzitetu ili online školi |
| Profesija je relativno nova, pa je u malim gradovima teško naći slobodno radno mjesto | Možete raditi na daljinu za rusku ili stranu kompaniju |
| Posao podrazumeva visok stepen odgovornosti, jer greške utiču na finansije kompanije | Profesija ima velike izglede, potražnja za stručnjacima sa iskustvom će rasti |
| Morate imati matematički um ili potrošiti resurse na učenje (vrijeme, novac, trud) | Već na početku plata je veća od prosjeka na tržištu rada |