
Scicom Infrastructure Services tehnološka je konzultantska tvrtka i pružatelj usluga koja pomaže organizacijama javnog i privatnog sektora upravljati svojim IT okruženjima i unaprijediti ih. Njezino poslovanje obuhvaća upravljanje poslovnim učinkom, arhitekturu, upravljanje projektima, upravljanje infrastrukturom i aplikacijama te upravljane usluge. Tvrtka surađuje i s tvrtkama AppDynamics, BigPanda, Datadog i AWS na praćenju performansi, korelaciji događaja i automatizaciji, praćenju oblaka te upravljanju IT uslugama. Pruža operativnu podršku za globalnu infrastrukturu 24 sata dnevno. Njezin profil opisuje tim koji radi s poslovnim, SaaS i B2B tehnologijama; pojedinosti o radnim mjestima i zapošljavanju potražite u aktualnim oglasima.
Podatkovni inženjer za Databricks i OCDS podatkovne ugovore
Povežite stručnjake za nabavu s inženjerskim timovima kako biste definirali podatkovne ugovore za veliki program Databricks. Izgradite podatkovne tokove i kontrole usklađene s OCDS-om za pouzdane, standardizirane podatke o ugovorima.
Opis
- Povezujte poslovne timove, timove za ugovaranje, upravljanje podacima i inženjering u velikoj implementaciji Databricksa.
- Vodite radionice za prikupljanje zahtjeva s dionicima iz nabave, programskog upravljanja, analitike, upravljanja podacima i tehničkih područja.
- Izrađujte i održavajte podatkovne ugovore koji određuju kako proizvođači i korisnici razmjenjuju podatke.
- Pretvarajte poslovne potrebe u korisničke priče, kriterije prihvaćanja, procesne tokove, mapiranja, specifikacije sučelja i inženjerske zahtjeve.
- Analizirajte izvorne sustave, profilirajte podatke, procjenjujte nedostatke i mapirajte izvorna polja na ciljne strukture.
- Uspoređujte postojeće podatke o nabavi sa strukturama koje zahtijeva OCDS.
- Postizanje dogovora između vlasnika podataka, proizvođača, korisnika, arhitekata i timova za upravljanje podacima.
- Pratite zahtjeve kroz modeliranje podataka, implementaciju, testiranje i prihvaćanje.
- Procjenjujte kako predložene promjene utječu na podatkovne proizvode, izvješća, integracije i analitičke slučajeve upotrebe.
- Pomažite u pripremi i vođenju pregleda backloga, planiranja sprintova, demonstracija, testiranja i prihvaćanja od strane dionika.
- Primjenjujte OCDS na podatke o nabavi i javnom ugovaranju od planiranja do implementacije.
- Održavajte mapiranja za OCDS izdanja, zapise, pakete, identifikatore, organizacije, strane, stavke, prekretnice, dokumente, transakcije, izmjene i povezane elemente.
- Koristite OCDS sheme, šifrarnike, pravila provjere valjanosti i smjernice za implementaciju.
- Utvrđujte kada su potrebna proširenja OCDS-a i bilježite povezane pretpostavke, pravila, mapiranja, iznimke i proširenja.
- Izrađujte evidenciju ugovora iz transakcijskih objava i definirajte obradu izmjena, ažuriranja, otkazivanja, ispravaka i povijesnih promjena.
- Provjeravajte transformirane podatke prema OCDS JSON shemama i ispravljajte nedostajuće, nevaljane, nedosljedne ili neusuglašene podatke o nabavi.
- Omogućite objavu, razmjenu, analizu ili internu upotrebu standardiziranih podataka o ugovorima.
- Izrađujte, testirajte i održavajte Databricks podatkovne tokove uz Apache Spark, PySpark, Python i SQL.
- Učitavajte i transformirajte strukturirane i polustrukturirane podatke o nabavi iz JSON-a, CSV-a, XML-a, Parqueta, baza podataka, API-ja i datoteka.
- Izrađujte slojeve Bronze, Silver i Gold primjenom medaljonske arhitekture.
- Razvijajte normalizirane, dimenzijske, analitičke podatkovne modele i modele temeljene na OCDS-u.
- Koristite Delta Lake za provođenje i razvoj shema, upravljanje verzijama, podršku revizijama i pouzdanu obradu podataka.
- Izrađujte višekratno upotrebljive postupke za pretvaranje izvornih podataka o nabavi u izlazne podatke kompatibilne s OCDS-om.
- Izrađujte i skupno i inkrementalno učitavanje podataka.
- Koristite odgovarajuće Databricks alate, uključujući Workflows, bilježnice, zadatke, Auto Loader, Delta Live Tables ili Lakeflow.
- Izrađujte REST API veze za učitavanje izvornih podataka i isporuku podataka nizvodnim sustavima.
- Automatizirajte provjere kvalitete podataka, usklađivanja, potpunosti i sukladnosti.
- Pomozite u implementaciji Unity Cataloga za metapodatke, vlasništvo, podrijetlo podataka, kontrole pristupa i otkrivanje podataka.
- Poboljšavajte Spark zadatke, SQL upite, klastere, particioniranje, veličine datoteka i raspored podataka.
- Sudjelujte u pregledima koda, automatiziranim testovima, CI/CD-u, implementacijama, nadzoru i podršci produkciji.
- Dijagnosticirajte neuspjehe podatkovnih tokova, nepodudarnosti podataka i probleme s izvedbom.
- Postavite mjerljiva pravila za točnost, potpunost, valjanost, pravodobnost, dosljednost i jedinstvenost podataka.
- Izrađujte kontrole provjere valjanosti za OCDS polja, identifikatore, datume, iznose, valute, organizacije, klasifikacije i ugovorne odnose.
- Izrađujte nadzorne ploče ili izvješća o usklađenosti s podatkovnim ugovorima i rezultatima kvalitete podataka.
- Uspostavite načine za otkrivanje i upravljanje promjenama sheme.
- Pratite podrijetlo podataka o nabavi kroz Databricks transformacije do nizvodnih proizvoda.
- Surađujte s timovima za upravljanje podacima pri definiranju vlasnika, skrbnika, klasifikacija, rokova čuvanja i pravila pristupa.
- Postupajte s osjetljivim podacima o nabavi i dobavljačima u skladu sa zahtjevima sigurnosti i privatnosti.
- Održavajte revizijske tragove s dokumentiranim pravilima, verzioniranim mapiranjima, rezultatima provjere valjanosti i poviješću promjena.
Zahtjevi
- Prvostupnička diploma iz računarstva, informacijskih sustava, analitike podataka, poslovne analize, inženjerstva, javne uprave, upravljanja lancem opskrbe ili srodnog područja.
- Najmanje pet godina kombiniranog iskustva u podatkovnom inženjerstvu, analizi podataka, poslovnoj analizi ili integraciji podataka.
- Praktično iskustvo u implementaciji ili korištenju standarda Open Contracting Data Standard (OCDS).
- Iskustvo u izradi, dokumentiranju, pregovaranju ili održavanju podatkovnih ugovora.
- Iskustvo u mapiranju podataka o nabavi ili ugovorima na OCDS sheme.
- Izvrsno poznavanje OCDS izdanja, zapisa, shema, šifrarnika, identifikatora, faza ugovaranja i metoda provjere valjanosti.
- Najmanje tri godine praktičnog iskustva s Databricksom.
- Napredno poznavanje Apache Sparka, PySparka, Pythona, SQL-a, Delta Lakea, ETL/ELT podatkovnih tokova, modeliranja podataka, JSON-a i JSON Scheme, REST API-ja, provjere kvalitete podataka i mapiranja izvornih podataka na ciljne.
- Iskustvo u prikupljanju zahtjeva i njihovoj pretvorbi u provedive inženjerske specifikacije.
- Jasna komunikacija s tehničkim i netehničkim partnerima.
- Iskustvo u pripremi korisničkih priča, kriterija prihvaćanja, poslovnih pravila, podatkovnih rječnika, specifikacija sučelja i procesne dokumentacije.
- Izražene analitičke vještine, rješavanje problema, facilitacija i dokumentiranje.
- Iskustvo u radu u agilnim timovima.
- Poželjno: iskustvo s državnom nabavom, ugovaranjem u javnom sektoru, bespovratnim sredstvima, akvizicijom, podacima dobavljača ili financijskim podacima.
- Poželjno: iskustvo u izradi OCDS proširenja ili prilagodbi OCDS-a potrebama organizacije.
- Poželjno: poznavanje klasifikacija nabave, identifikatora organizacija, nadmetanja, dodjela ugovora, izmjena, prekretnica, transakcija i provedbe ugovora.
- Poželjno: certifikat Databricks Certified Data Engineer Associate ili Professional.
- Poželjno: iskustvo s Unity Catalogom, Delta Live Tables, Lakeflowom, Databricks Workflowsom, Structured Streamingom, uslugama u oblaku, Azure Data Factoryjem, ADLS Gen2, AWS Glueom, Amazon S3-om, Snowflakeom, dbt-om, Kafkom, Airflowom, Power BI-jem, validatorima JSON Scheme, automatiziranim okvirima za kvalitetu podataka, upravljanjem metapodacima ili matičnim podacima, praćenjem podrijetla, upravljanjem referentnim podacima, CI/CD-om, Gitom, Azure DevOpsom, GitHub Actionsom, Jenkinsom ili Terraformom.
- Poželjno: iskustvo rada na velikim podatkovnim programima savezne, državne ili lokalne uprave ili reguliranih poduzeća.
- Poželjno: poznavanje zahtjeva savezne nabave, ugovaranja, izvješćivanja, transparentnosti ili otvorenih podataka.
- Sposobnost sudjelovanja u raspravama o inženjerstvu i poslovnoj analizi.
- Dobro razumijevanje podatkovnih ugovora i odgovornosti proizvođača i korisnika.
- Sposobnost pretvaranja složenih procesa nabave u jasne podatkovne strukture i pravila transformacije.
- Pažljivost pri tumačenju shema, šifrarnika, poslovnih definicija i zahtjeva za provjeru valjanosti.
- Izražene vještine facilitacije dionika i rješavanja sukoba.
- Sposobnost otkrivanja nedostataka i nejasnoća prije nego što uzrokuju inženjerske pogreške.
- Predanost dokumentiranju, sljedivosti, upravljanju podacima i njihovoj kvaliteti.
- Sposobnost učinkovitog rada u velikom multidisciplinarnom Databricks timu.
Pogodnosti
- Oglas ne navodi pogodnosti, dodatne beneficije ni dodatnu naknadu.
Povezani poslovi
Nema pronađenih poslova
Pokušajte prilagoditi ili očistiti filtre kako biste pronašli više prilika.