Brillio je tehnološka konzultantska tvrtka koja organizacijama pomaže u upravljanju digitalnom transformacijom u zdravstvu, osiguranju, logistici, financijskim uslugama, telekomunikacijama i medijima, znanostima o životu te maloprodaji. Njezin rad obuhvaća korisničko iskustvo, podatke i umjetnu inteligenciju, generativnu umjetnu inteligenciju, razvoj proizvoda i platformi te infrastrukturu, oblak i sigurnost. Brillio povezuje inženjersko znanje s poznavanjem industrije kako bi razvijao digitalne proizvode i modernizirao tehnološka okruženja, pomažući poduzećima da odgovore na promjenjive tržišne i tehnološke zahtjeve.
Hibridni podatkovni inženjer – dbt i Snowflake u tvrtki Brillio
Pridružite se tvrtki Brillio kao podatkovni inženjer usmjeren na obrnuto projektiranje cjenovne logike i njezinu ponovnu izgradnju kao upravljanih dbt modela u sloju Silver. Provjeravajte podudarnost rezultata, dokumentirajte podatkovnu liniju i uz odobrenje analitičara povlačite zastarjele definicije iz sloja Gold.
Opis
- Surađivati s cjenovnim analitičarima na otkrivanju definicija u sloju Gold, izračuna, transformacija, ovisnosti, pretpostavki, rubnih slučajeva i dvosmislenosti
- Obrnuto analizirati SQL analitičara, formule u proračunskim tablicama i ad hoc izračune kako bi se utvrdilo predviđeno poslovno ponašanje
- Pretvoriti naslijeđenu logiku u definirane tehničke zahtjeve i praktične planove migracije
- Izraditi odobrene cjenovne definicije kao upravljane, ponovno upotrebljive i dokumentirane dbt modele u sloju Silver
- Primjenjivati utvrđene standarde modeliranja podataka, imenovanja, testiranja, upravljanja verzijama i pregleda koda
- Izrađivati skalabilne, održive i provjerljive modele koji ne ovise o nedokumentiranom znanju analitičara
- Implementirati dbt testove koji obuhvaćaju jedinstvenost, dopuštenost nultih vrijednosti, prihvaćene vrijednosti, odnose i poslovna pravila
- Usklađivati izlaze sloja Silver s postojećim rezultatima sloja Gold i istraživati odstupanja
- Testirati migrirane rezultate kroz reprezentativna vremenska razdoblja, segmente, granične uvjete i poznate iznimke
- Dovršavati migracije nakon pregleda podudarnosti i odobrenja cjenovnog analitičara
- Surađivati s cjenovnim analitičarima na pojašnjavanju izračuna, potvrđivanju predviđenog ponašanja i dogovaranju očekivanih rezultata
- Provodi preglede i zajedničke prolaze te bilježiti odobrenje analitičara prije povlačenja naslijeđenih definicija
- Obavještavati tehničke i poslovne dionike o rizicima, neriješenim pitanjima, ovisnostima i odlukama
- Bilježiti poslovni kontekst, pravila izračuna, pretpostavke, iznimke, ulaze, vlasništvo, podatkovnu liniju, testove i nizvodne korisnike u alatima dbt i Confluence
- Povući ad hoc logiku sloja Gold nakon što je zamjena u sloju Silver provjerena, odobrena i prihvaćena te nakon ažuriranja njezinih nizvodnih ovisnosti
- Potvrditi da se povučena logika više ne koristi i ažurirati operativnu dokumentaciju kako bi odražavala novi izvor istine
Zahtjevi
- Pet do osam godina iskustva u podatkovnom inženjerstvu za analitičke podatkovne platforme
- Napredno poznavanje SQL-a, uključujući spajanja, prozorske funkcije, CTE-ove, agregacije, uvjetnu logiku i optimizaciju
- Praktično iskustvo s dbt-om koje obuhvaća modele, testove, dokumentaciju i podatkovnu liniju
- Dobro poznavanje Snowflakea, uključujući modeliranje podataka, ugađanje performansi i koncepte skladišta podataka
- Iskustvo u refaktoriranju, migraciji ili modernizaciji složene analitičke logike
- Sposobnost tumačenja ad hoc SQL-a i izračuna u proračunskim tablicama te provjere njihovih izlaza
- Dobro razumijevanje kvalitete podataka, usklađivanja, testiranja i kontrola izdavanja
- Sposobnost rada s dionicima izvan inženjerstva radi pojašnjavanja zahtjeva i provjere rezultata
- Jasna komunikacija i disciplinirane prakse dokumentiranja
- Iskustvo s Pythonom je prednost
- Iskustvo s alatima Airflow, Confluence, Jira i Slack
- Iskustvo koje obuhvaća modeliranje podataka, provjeru kvalitete, usklađivanje, planiranje migracije, suradnju s dionicima i tehničku dokumentaciju