Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services tehnološka je konzultantska tvrtka i pružatelj usluga koja pomaže organizacijama javnog i privatnog sektora upravljati svojim IT okruženjima i unaprijediti ih. Njezino poslovanje obuhvaća upravljanje poslovnim učinkom, arhitekturu, upravljanje projektima, upravljanje infrastrukturom i aplikacijama te upravljane usluge. Tvrtka surađuje i s tvrtkama AppDynamics, BigPanda, Datadog i AWS na praćenju performansi, korelaciji događaja i automatizaciji, praćenju oblaka te upravljanju IT uslugama. Pruža operativnu podršku za globalnu infrastrukturu 24 sata dnevno. Njezin profil opisuje tim koji radi s poslovnim, SaaS i B2B tehnologijama; pojedinosti o radnim mjestima i zapošljavanju potražite u aktualnim oglasima.

Podatkovni inženjer za Databricks i OCDS podatkovne ugovore

Povežite stručnjake za nabavu s inženjerskim timovima kako biste definirali podatkovne ugovore za veliki program Databricks. Izgradite podatkovne tokove i kontrole usklađene s OCDS-om za pouzdane, standardizirane podatke o ugovorima.

Opis

  • Povezujte poslovne timove, timove za ugovaranje, upravljanje podacima i inženjering u velikoj implementaciji Databricksa.
  • Vodite radionice za prikupljanje zahtjeva s dionicima iz nabave, programskog upravljanja, analitike, upravljanja podacima i tehničkih područja.
  • Izrađujte i održavajte podatkovne ugovore koji određuju kako proizvođači i korisnici razmjenjuju podatke.
  • Pretvarajte poslovne potrebe u korisničke priče, kriterije prihvaćanja, procesne tokove, mapiranja, specifikacije sučelja i inženjerske zahtjeve.
  • Analizirajte izvorne sustave, profilirajte podatke, procjenjujte nedostatke i mapirajte izvorna polja na ciljne strukture.
  • Uspoređujte postojeće podatke o nabavi sa strukturama koje zahtijeva OCDS.
  • Postizanje dogovora između vlasnika podataka, proizvođača, korisnika, arhitekata i timova za upravljanje podacima.
  • Pratite zahtjeve kroz modeliranje podataka, implementaciju, testiranje i prihvaćanje.
  • Procjenjujte kako predložene promjene utječu na podatkovne proizvode, izvješća, integracije i analitičke slučajeve upotrebe.
  • Pomažite u pripremi i vođenju pregleda backloga, planiranja sprintova, demonstracija, testiranja i prihvaćanja od strane dionika.
  • Primjenjujte OCDS na podatke o nabavi i javnom ugovaranju od planiranja do implementacije.
  • Održavajte mapiranja za OCDS izdanja, zapise, pakete, identifikatore, organizacije, strane, stavke, prekretnice, dokumente, transakcije, izmjene i povezane elemente.
  • Koristite OCDS sheme, šifrarnike, pravila provjere valjanosti i smjernice za implementaciju.
  • Utvrđujte kada su potrebna proširenja OCDS-a i bilježite povezane pretpostavke, pravila, mapiranja, iznimke i proširenja.
  • Izrađujte evidenciju ugovora iz transakcijskih objava i definirajte obradu izmjena, ažuriranja, otkazivanja, ispravaka i povijesnih promjena.
  • Provjeravajte transformirane podatke prema OCDS JSON shemama i ispravljajte nedostajuće, nevaljane, nedosljedne ili neusuglašene podatke o nabavi.
  • Omogućite objavu, razmjenu, analizu ili internu upotrebu standardiziranih podataka o ugovorima.
  • Izrađujte, testirajte i održavajte Databricks podatkovne tokove uz Apache Spark, PySpark, Python i SQL.
  • Učitavajte i transformirajte strukturirane i polustrukturirane podatke o nabavi iz JSON-a, CSV-a, XML-a, Parqueta, baza podataka, API-ja i datoteka.
  • Izrađujte slojeve Bronze, Silver i Gold primjenom medaljonske arhitekture.
  • Razvijajte normalizirane, dimenzijske, analitičke podatkovne modele i modele temeljene na OCDS-u.
  • Koristite Delta Lake za provođenje i razvoj shema, upravljanje verzijama, podršku revizijama i pouzdanu obradu podataka.
  • Izrađujte višekratno upotrebljive postupke za pretvaranje izvornih podataka o nabavi u izlazne podatke kompatibilne s OCDS-om.
  • Izrađujte i skupno i inkrementalno učitavanje podataka.
  • Koristite odgovarajuće Databricks alate, uključujući Workflows, bilježnice, zadatke, Auto Loader, Delta Live Tables ili Lakeflow.
  • Izrađujte REST API veze za učitavanje izvornih podataka i isporuku podataka nizvodnim sustavima.
  • Automatizirajte provjere kvalitete podataka, usklađivanja, potpunosti i sukladnosti.
  • Pomozite u implementaciji Unity Cataloga za metapodatke, vlasništvo, podrijetlo podataka, kontrole pristupa i otkrivanje podataka.
  • Poboljšavajte Spark zadatke, SQL upite, klastere, particioniranje, veličine datoteka i raspored podataka.
  • Sudjelujte u pregledima koda, automatiziranim testovima, CI/CD-u, implementacijama, nadzoru i podršci produkciji.
  • Dijagnosticirajte neuspjehe podatkovnih tokova, nepodudarnosti podataka i probleme s izvedbom.
  • Postavite mjerljiva pravila za točnost, potpunost, valjanost, pravodobnost, dosljednost i jedinstvenost podataka.
  • Izrađujte kontrole provjere valjanosti za OCDS polja, identifikatore, datume, iznose, valute, organizacije, klasifikacije i ugovorne odnose.
  • Izrađujte nadzorne ploče ili izvješća o usklađenosti s podatkovnim ugovorima i rezultatima kvalitete podataka.
  • Uspostavite načine za otkrivanje i upravljanje promjenama sheme.
  • Pratite podrijetlo podataka o nabavi kroz Databricks transformacije do nizvodnih proizvoda.
  • Surađujte s timovima za upravljanje podacima pri definiranju vlasnika, skrbnika, klasifikacija, rokova čuvanja i pravila pristupa.
  • Postupajte s osjetljivim podacima o nabavi i dobavljačima u skladu sa zahtjevima sigurnosti i privatnosti.
  • Održavajte revizijske tragove s dokumentiranim pravilima, verzioniranim mapiranjima, rezultatima provjere valjanosti i poviješću promjena.

Zahtjevi

  • Prvostupnička diploma iz računarstva, informacijskih sustava, analitike podataka, poslovne analize, inženjerstva, javne uprave, upravljanja lancem opskrbe ili srodnog područja.
  • Najmanje pet godina kombiniranog iskustva u podatkovnom inženjerstvu, analizi podataka, poslovnoj analizi ili integraciji podataka.
  • Praktično iskustvo u implementaciji ili korištenju standarda Open Contracting Data Standard (OCDS).
  • Iskustvo u izradi, dokumentiranju, pregovaranju ili održavanju podatkovnih ugovora.
  • Iskustvo u mapiranju podataka o nabavi ili ugovorima na OCDS sheme.
  • Izvrsno poznavanje OCDS izdanja, zapisa, shema, šifrarnika, identifikatora, faza ugovaranja i metoda provjere valjanosti.
  • Najmanje tri godine praktičnog iskustva s Databricksom.
  • Napredno poznavanje Apache Sparka, PySparka, Pythona, SQL-a, Delta Lakea, ETL/ELT podatkovnih tokova, modeliranja podataka, JSON-a i JSON Scheme, REST API-ja, provjere kvalitete podataka i mapiranja izvornih podataka na ciljne.
  • Iskustvo u prikupljanju zahtjeva i njihovoj pretvorbi u provedive inženjerske specifikacije.
  • Jasna komunikacija s tehničkim i netehničkim partnerima.
  • Iskustvo u pripremi korisničkih priča, kriterija prihvaćanja, poslovnih pravila, podatkovnih rječnika, specifikacija sučelja i procesne dokumentacije.
  • Izražene analitičke vještine, rješavanje problema, facilitacija i dokumentiranje.
  • Iskustvo u radu u agilnim timovima.
  • Poželjno: iskustvo s državnom nabavom, ugovaranjem u javnom sektoru, bespovratnim sredstvima, akvizicijom, podacima dobavljača ili financijskim podacima.
  • Poželjno: iskustvo u izradi OCDS proširenja ili prilagodbi OCDS-a potrebama organizacije.
  • Poželjno: poznavanje klasifikacija nabave, identifikatora organizacija, nadmetanja, dodjela ugovora, izmjena, prekretnica, transakcija i provedbe ugovora.
  • Poželjno: certifikat Databricks Certified Data Engineer Associate ili Professional.
  • Poželjno: iskustvo s Unity Catalogom, Delta Live Tables, Lakeflowom, Databricks Workflowsom, Structured Streamingom, uslugama u oblaku, Azure Data Factoryjem, ADLS Gen2, AWS Glueom, Amazon S3-om, Snowflakeom, dbt-om, Kafkom, Airflowom, Power BI-jem, validatorima JSON Scheme, automatiziranim okvirima za kvalitetu podataka, upravljanjem metapodacima ili matičnim podacima, praćenjem podrijetla, upravljanjem referentnim podacima, CI/CD-om, Gitom, Azure DevOpsom, GitHub Actionsom, Jenkinsom ili Terraformom.
  • Poželjno: iskustvo rada na velikim podatkovnim programima savezne, državne ili lokalne uprave ili reguliranih poduzeća.
  • Poželjno: poznavanje zahtjeva savezne nabave, ugovaranja, izvješćivanja, transparentnosti ili otvorenih podataka.
  • Sposobnost sudjelovanja u raspravama o inženjerstvu i poslovnoj analizi.
  • Dobro razumijevanje podatkovnih ugovora i odgovornosti proizvođača i korisnika.
  • Sposobnost pretvaranja složenih procesa nabave u jasne podatkovne strukture i pravila transformacije.
  • Pažljivost pri tumačenju shema, šifrarnika, poslovnih definicija i zahtjeva za provjeru valjanosti.
  • Izražene vještine facilitacije dionika i rješavanja sukoba.
  • Sposobnost otkrivanja nedostataka i nejasnoća prije nego što uzrokuju inženjerske pogreške.
  • Predanost dokumentiranju, sljedivosti, upravljanju podacima i njihovoj kvaliteti.
  • Sposobnost učinkovitog rada u velikom multidisciplinarnom Databricks timu.

Pogodnosti

  • Oglas ne navodi pogodnosti, dodatne beneficije ni dodatnu naknadu.

Povezani poslovi

Nema pronađenih poslova

Pokušajte prilagoditi ili očistiti filtre kako biste pronašli više prilika.