Derevo je tvrtka za podatkovnu analitiku i digitalnu transformaciju koja pomaže organizacijama pretvoriti podatke u poslovne uvide. Njezin rad obuhvaća cijeli analitički ciklus, od stvaranja i integracije podataka do njihove analize i dijeljenja, uz nastojanja da se izgradi kultura utemeljena na podacima. U analitičkim rješenjima za različite industrije primjenjuje umjetnu inteligenciju i strojno učenje te koristi nearshore model isporuke s globalnim timovima, osobito za klijente u Sjedinjenim Američkim Državama i Kanadi. S više od desetljeća iskustva, Derevo surađuje s pružateljima tehnoloških rješenja kako bi podržao organizacije u promjenama vođenima podacima. Njezini timovi rade u područjima savjetovanja, logistike i marketinga, a tvrtka zapošljava u cijeloj organizaciji.
Senior inženjer za podatke, Microsoft Fabric
Izrađujte arhitekture Microsoft Fabric, lakehouse rješenja i podatkovne tokove za Derevova podatkovna i AI rješenja. Pretvarajte velike količine podataka u uvide koji podupiru poslovne odluke.
Opis
- Izrađivati i implementirati kvalitetne moderne podatkovne arhitekture
- Razvijati analitička rješenja pomoću Big Data tehnologija
- Dizajnirati, održavati i optimizirati sustave paralelne obrade
- Primjenjivati najbolje prakse za pohranu i upravljanje podatkovnim skladištima, podatkovnim jezerima i lakehouse rješenjima
- Prikupljati, obrađivati, čistiti i orkestrirati velike količine podataka
- Integrirati i transformirati podatke iz više strukturiranih i polustrukturiranih izvora
- Definirati tehničke strategije usklađene s poslovnim ciljevima
- Pridružiti se projektu i njegovim sprintovima te obavljati razvojne zadatke
- Utvrđivati zahtjeve i definirati opseg
- Sudjelovati u planiranju sprintova, inženjerskim sastancima, radionicama te sastancima s internim timovima i klijentima
- Klasificirati zadatke i procjenjivati ih primjenom agilnih metodologija
- Svakodnevno pratiti napredak sprinta
- Poštovati rokove isporuke i upravljati rizicima pravodobnim obavještavanjem o kašnjenjima
Zahtjevi
- Napredno znanje engleskog jezika
- Izvrsno poznavanje T-SQL-a i Spark SQL-a, uključujući DDL, DML, podupite, CTE-ove, višestruka spajanja, agregacije, prozorske funkcije, pohranjene procedure, optimizaciju indeksa, statistike i planove izvođenja
- Izvrsno poznavanje Pythona (PySpark), uključujući objektno orijentirano programiranje, strukture podataka, kontrolni tok, unos podataka, DataFrameove, UDF-ove, vremenske prozore, particioniranje, PEP 8 i modularnost
- Iskustvo s JSON-om i REST API-jima za orkestraciju tokova podataka, CI/CD implementacije, dinamičko parametriziranje i upravljanje artefaktima
- Poznavanje Microsoft Fabrica, Lakehousea, OneLakea, Delta Lakea i Delta tablica usklađenih s ACID-om
- Poznavanje particioniranja, OPTIMIZE-a, Z-ORDER-a i putovanja kroz vrijeme
- Poznavanje podatkovnih skladišta (Synapse Analytics), namjenskih i serverless SQL klastera, shema zvijezde i pahulje, transakcijskog T-SQL-a, izolacije i automatskog skaliranja
- Iskustvo s CI/CD-om i upravljanjem životnim ciklusom pomoću Azure DevOpsa ili GitHub Actionsa
- Poznavanje jediničnog testiranja skupova podataka, validacije shema i automatizirane implementacije artefakata
- Poznavanje alata Monitor Hub i Activator, nadzornih ploča s metrikama, proaktivnih upozorenja i automatiziranih runbookova
- Poznavanje alata Eventstreams i Eventhouse za unos događaja u stvarnom vremenu, prozore obrade i inkrementalne agregacije
- Poznavanje sigurnosti i upravljanja podacima, uloga i dozvola, sigurnosti na razini redaka i stupaca, dinamičkog maskiranja podataka i revizije
- Opće poznavanje Azure Data Factoryja je prednost
- Izvrsne komunikacijske vještine, timski rad u sklopu Squada, proaktivnost, suradnja, kontinuirano učenje, odgovornost, organiziranost, savjetovanje o podacima, upravljanje zahtjevima, strategija usmjerena na klijenta i vještine prezentiranja klijentima
Pogodnosti
- Zakonska i dodatna prava
- Mogućnosti razvoja stručnosti u različitim područjima i tehnologijama
- Razvoj kroz različite discipline i novi izazovi
- Okruženje koje pruža prostor, povjerenje i slobodu za stvaranje
- Potrebne edukacije
- Rad na vrhunskim tehnološkim projektima za multinacionalne klijente
- Fleksibilan rad na daljinu
- Potrebna oprema za rad
- Alati za internu komunikaciju