Brillio je technologická poradenská spoločnosť, ktorá pomáha organizáciám zvládať digitálnu transformáciu v zdravotníctve, poisťovníctve, logistike, finančných službách, telekomunikáciách a médiách, prírodných vedách a maloobchode. Jej činnosť zahŕňa zákaznícku skúsenosť, dáta a umelú inteligenciu, generatívnu umelú inteligenciu, vývoj produktov a platforiem, ako aj infraštruktúru, cloud a bezpečnosť. Brillio spája odborné znalosti v oblasti inžinierstva s odvetvovými skúsenosťami pri vývoji digitálnych produktov a modernizácii technologických prostredí, čím pomáha firmám reagovať na meniace sa požiadavky trhu a technológií.
Hybridný dátový inžinier – dbt a Snowflake v spoločnosti Brillio
Pridajte sa k spoločnosti Brillio ako dátový inžinier a zamerajte sa na spätné vytváranie cenovej logiky a jej prestavbu na spravované dbt modely vo vrstve Silver. Overujte zhodu výsledkov, dokumentujte dátovú líniu a po schválení analytikmi vyraďujte pôvodné definície vo vrstve Gold.
Popis
- Spolupracovať s cenovými analytikmi na odhalení definícií vo vrstve Gold, výpočtov, transformácií, závislostí, predpokladov, okrajových prípadov a nejednoznačností
- Spätne analyzovať SQL kód analytikov, tabuľkové vzorce a ad hoc výpočty s cieľom určiť zamýšľané obchodné správanie
- Previest pôvodnú logiku na definované technické požiadavky a praktické migračné plány
- Vytvárať schválené cenové definície ako spravované, opakovane použiteľné a zdokumentované dbt modely vo vrstve Silver
- Uplatňovať zavedené štandardy dátového modelovania, pomenúvania, testovania, správy verzií a kontroly kódu
- Vytvárať škálovateľné, udržiavateľné a auditovateľné modely, ktoré nezávisia od nezdokumentovaných znalostí analytikov
- Implementovať testy dbt pokrývajúce jedinečnosť, prípustnosť prázdnych hodnôt, akceptované hodnoty, vzťahy a obchodné pravidlá
- Porovnávať výstupy vrstvy Silver s existujúcimi výsledkami vrstvy Gold a skúmať nezrovnalosti
- Testovať migrované výsledky za reprezentatívne časové obdobia, segmenty, hraničné podmienky a známe výnimky
- Dokončovať migrácie po preskúmaní zhody výsledkov a schválení cenovým analytikom
- Spolupracovať s cenovými analytikmi na objasňovaní výpočtov, potvrdzovaní zamýšľaného správania a dohodnutí očakávaných výsledkov
- Viesť prehliadky a kontroly a zaznamenávať schválenie analytikov pred vyradením pôvodných definícií
- Informovať technické a obchodné zainteresované strany o rizikách, nevyriešených otázkach, závislostiach a rozhodnutiach
- Zaznamenávať obchodný kontext, pravidlá výpočtov, predpoklady, výnimky, vstupy, vlastníctvo, dátovú líniu, testy a nadväzujúcich používateľov v nástrojoch dbt a Confluence
- Vyradiť ad hoc logiku vrstvy Gold po overení, schválení a prijatí náhrady vo vrstve Silver a po aktualizácii jej nadväzujúcich závislostí
- Potvrdiť, že vyradená logika sa už nepoužíva, a aktualizovať prevádzkovú dokumentáciu tak, aby odrážala nový zdroj pravdy
Požiadavky
- Päť až osem rokov skúseností s dátovým inžinierstvom pre analytické dátové platformy
- Pokročilá znalosť SQL vrátane spojení, okenných funkcií, CTE, agregácií, podmienenej logiky a optimalizácie
- Praktické skúsenosti s dbt vrátane modelov, testov, dokumentácie a dátovej línie
- Dobrá znalosť Snowflake vrátane dátového modelovania, optimalizácie výkonu a konceptov dátových skladov
- Skúsenosti s refaktorovaním, migráciou alebo modernizáciou komplexnej analytickej logiky
- Schopnosť interpretovať ad hoc SQL a výpočty v tabuľkách a overovať ich výstupy
- Dobré znalosti kvality údajov, zlaďovania, testovania a kontrol vydávaní
- Schopnosť spolupracovať so zainteresovanými stranami mimo inžinierstva pri objasňovaní požiadaviek a overovaní výsledkov
- Jasná komunikácia a disciplinované postupy dokumentovania
- Skúsenosti s Pythonom sú výhodou
- Skúsenosti s nástrojmi Airflow, Confluence, Jira a Slack
- Skúsenosti zahŕňajúce dátové modelovanie, overovanie kvality, zlaďovanie, plánovanie migrácie, spoluprácu so zainteresovanými stranami a technickú dokumentáciu