Brillio je tehnološko svetovalno podjetje, ki organizacijam pomaga pri obvladovanju digitalne preobrazbe na področjih zdravstva, zavarovalništva, logistike, finančnih storitev, telekomunikacij in medijev, znanosti o življenju ter maloprodaje. Njegovo delo zajema uporabniško izkušnjo, podatke in umetno inteligenco, generativno umetno inteligenco, razvoj izdelkov in platform ter infrastrukturo, oblak in varnost. Brillio združuje inženirsko strokovno znanje s poznavanjem panog za razvoj digitalnih izdelkov in posodobitev tehnoloških okolij ter podjetjem pomaga odzivati se na spreminjajoče se tržne in tehnološke zahteve.
Hibridni podatkovni inženir – dbt in Snowflake v podjetju Brillio
Pridružite se podjetju Brillio kot podatkovni inženir, osredotočen na obratno inženirstvo cenovne logike in njeno ponovno izdelavo kot upravljanih modelov dbt v plasti Silver. Preverjajte ujemanje rezultatov, dokumentirajte podatkovno poreklo in po odobritvi analitikov umikajte stare definicije iz plasti Gold.
Opis
- Sodelovanje s cenovnimi analitiki pri odkrivanju definicij, izračunov, transformacij, odvisnosti, predpostavk, robnih primerov in nejasnosti v plasti Gold
- Obratno inženirstvo analitičnega SQL, formul v preglednicah in ad hoc izračunov za ugotavljanje predvidenega poslovnega vedenja
- Pretvarjanje podedovane logike v opredeljene tehnične zahteve in praktične načrte migracije
- Izdelava odobrenih cenovnih definicij kot upravljanih, ponovno uporabljivih in dokumentiranih modelov dbt v plasti Silver
- Uporaba uveljavljenih standardov za modeliranje podatkov, poimenovanje, testiranje, nadzor različic in pregled kode
- Izdelava razširljivih, vzdržljivih in preverljivih modelov, ki niso odvisni od nedokumentiranega znanja analitikov
- Izvajanje testov dbt za preverjanje edinstvenosti, ničelnih vrednosti, dovoljenih vrednosti, odnosov in poslovnih pravil
- Usklajevanje izhodov plasti Silver z obstoječimi rezultati plasti Gold ter preiskovanje odstopanj
- Testiranje migriranih rezultatov skozi reprezentativna časovna obdobja, segmente, mejne pogoje in znane izjeme
- Dokončanje migracij po pregledu ujemanja in odobritvi cenovnega analitika
- Sodelovanje s cenovnimi analitiki pri razjasnjevanju izračunov, potrjevanju predvidenega vedenja in dogovarjanju o pričakovanih rezultatih
- Izvajanje pregledov in predstavitev ter beleženje odobritve analitikov pred umikom podedovanih definicij
- Obveščanje tehničnih in poslovnih deležnikov o tveganjih, nerešenih vprašanjih, odvisnostih in odločitvah
- Beleženje poslovnega konteksta, pravil izračunov, predpostavk, izjem, vhodov, lastništva, podatkovnega porekla, testov in nadaljnjih uporabnikov v dbt in Confluence
- Umik ad hoc logike plasti Gold, ko je zamenjava v plasti Silver preverjena, odobrena in sprejeta ter so posodobljene njene nadaljnje odvisnosti
- Potrditev, da se umaknjena logika ne uporablja več, in posodobitev operativne dokumentacije tako, da odraža nov vir resnice
Zahteve
- Pet do osem let izkušenj s podatkovnim inženirstvom za analitične podatkovne platforme
- Napredno znanje SQL, vključno s stiki, okenskimi funkcijami, CTE-ji, agregacijami, pogojno logiko in optimizacijo
- Praktične izkušnje z dbt, vključno z modeli, testi, dokumentacijo in podatkovnim poreklom
- Dobro poznavanje Snowflake, vključno z modeliranjem podatkov, uglaševanjem zmogljivosti in koncepti podatkovnih skladišč
- Izkušnje z refaktoriranjem, migracijo ali posodabljanjem zapletene analitične logike
- Sposobnost razumevanja ad hoc SQL in izračunov v preglednicah ter preverjanja njihovih izhodov
- Dobro razumevanje kakovosti podatkov, usklajevanja, testiranja in nadzora izdaj
- Sposobnost sodelovanja z deležniki zunaj inženirstva pri razjasnjevanju zahtev in preverjanju rezultatov
- Jasna komunikacija in disciplinirane prakse dokumentiranja
- Izkušnje s Pythonom so prednost
- Izkušnje z orodji Airflow, Confluence, Jira in Slack
- Izkušnje, ki vključujejo modeliranje podatkov, preverjanje kakovosti, usklajevanje, načrtovanje migracij, sodelovanje z deležniki in tehnično dokumentacijo