
Scicom Infrastructure Services je společnost poskytující technologické poradenství a služby. Organizacím z veřejného i soukromého sektoru pomáhá spravovat jejich IT prostředí a zlepšovat je. Působí v oblasti řízení výkonnosti podniku, architektury, projektového řízení, správy infrastruktury a aplikací i řízených služeb. Spolupracuje také se společnostmi AppDynamics, BigPanda, Datadog a AWS na monitorování výkonu, korelaci událostí a automatizaci, cloudovém monitorování a správě IT služeb. Scicom zajišťuje nepřetržitou provozní podporu globální infrastruktury. Profil společnosti popisuje tým působící v oblasti podnikových technologií, SaaS a B2B; informace o pracovních pozicích a náboru najdete v aktuálních nabídkách.
Datový inženýr Databricks pro datové kontrakty OCDS
Propojujte zainteresované strany v oblasti zadávání zakázek s technickými týmy při definování datových kontraktů pro rozsáhlý program Databricks. Vytvářejte pipelines a kontroly v souladu s OCDS pro spolehlivá a standardizovaná data o smlouvách.
Popis
- Propojovat obchodní týmy, odborníky na smlouvy a správu dat i technické týmy v rámci rozsáhlé implementace Databricks.
- Vést workshopy k požadavkům se zástupci zadávání zakázek, programů, analytiky, správy dat a technických týmů.
- Vytvářet a udržovat datové kontrakty, které určují způsob výměny dat mezi poskytovateli a spotřebiteli.
- Převádět obchodní potřeby na uživatelské příběhy, akceptační kritéria, procesní toky, mapování, specifikace rozhraní a technické požadavky.
- Analyzovat zdrojové systémy, profilovat data, vyhodnocovat mezery a mapovat zdrojová pole na cílové struktury.
- Porovnávat stávající data o zadávání zakázek se strukturami vyžadovanými standardem OCDS.
- Dohodnout řešení s vlastníky dat, poskytovateli, spotřebiteli, architekty a týmy správy dat.
- Sledovat požadavky při modelování dat, implementaci, testování a akceptaci.
- Posuzovat dopad navrhovaných změn na datové produkty, reporty, integrace a analytické případy použití.
- Pomáhat s přípravou a vedením kontrol backlogu, plánování sprintů, ukázek, testování a akceptace zainteresovanými stranami.
- Uplatňovat OCDS na data o zadávání zakázek a veřejných smlouvách od plánování po implementaci.
- Udržovat mapování pro vydání a záznamy OCDS, balíčky, identifikátory, organizace, strany, položky, milníky, dokumenty, transakce, změny a související prvky.
- Používat schémata OCDS, číselníky, validační pravidla a pokyny k implementaci.
- Určovat, kdy jsou zapotřebí rozšíření OCDS, a dokumentovat související předpoklady, pravidla, mapování, výjimky a rozšíření.
- Vytvářet záznamy smluv z transakčních vydání a definovat zpracování změn, aktualizací, zrušení, oprav a historických změn.
- Kontrolovat transformovaná data podle JSON schémat OCDS a opravovat chybějící, neplatná, nekonzistentní nebo nevyhovující data o zadávání zakázek.
- Umožňovat publikování, výměnu, analýzu nebo interní využití standardizovaných dat o smlouvách.
- Vytvářet, testovat a udržovat pipelines Databricks s Apache Spark, PySpark, Pythonem a SQL.
- Načítat a transformovat strukturovaná i částečně strukturovaná data o zadávání zakázek z JSON, CSV, XML, Parquet, databází, API a souborů.
- Vytvářet vrstvy Bronze, Silver a Gold pomocí medailonové architektury.
- Vyvíjet normalizované, dimenzionální a analytické datové modely i modely založené na OCDS.
- Používat Delta Lake k vynucování a rozvoji schémat, správě verzí, podpoře auditů a spolehlivému zpracování dat.
- Vytvářet opakovaně použitelné metody pro převod zdrojových dat o zadávání zakázek na výstupy kompatibilní s OCDS.
- Vytvářet dávkové i přírůstkové načítání dat.
- Používat vhodné nástroje Databricks včetně Workflows, notebooků, úloh, Auto Loader, Delta Live Tables nebo Lakeflow.
- Vytvářet připojení k REST API pro načítání zdrojových dat a předávání dat navazujícím systémům.
- Automatizovat kontroly kvality dat, odsouhlasení, úplnosti a shody.
- Pomáhat implementovat Unity Catalog pro metadata, vlastnictví, původ dat, řízení přístupu a vyhledávání dat.
- Optimalizovat úlohy Spark, dotazy SQL, clustery, dělení dat, velikosti souborů a uspořádání dat.
- Podílet se na revizích kódu, automatizovaných testech, CI/CD, nasazování, monitorování a provozní podpoře.
- Diagnostikovat selhání pipelines, nesoulad dat a problémy s výkonem.
- Stanovovat měřitelná pravidla přesnosti, úplnosti, validity, aktuálnosti, konzistence a jedinečnosti dat.
- Vytvářet validační kontroly polí OCDS, identifikátorů, dat, částek, měn, organizací, klasifikací a smluvních vztahů.
- Vytvářet dashboardy nebo reporty o souladu s datovými kontrakty a výsledcích kvality dat.
- Nastavovat způsoby zjišťování změn schémat a jejich řízení.
- Sledovat původ dat o zadávání zakázek přes transformace Databricks až k navazujícím produktům.
- Spolupracovat s týmy správy dat na definování vlastníků, správců, klasifikací, dob uchovávání a zásad přístupu.
- Zpracovávat citlivá data o zadávání zakázek a dodavatelích v souladu s požadavky na bezpečnost a ochranu soukromí.
- Udržovat auditní stopy s dokumentovanými pravidly, verzovanými mapováními, výsledky validace a historií změn.
Požadavky
- Bakalářské vzdělání v oboru informatiky, informačních systémů, datové analytiky, obchodní analýzy, inženýrství, veřejné správy, řízení dodavatelského řetězce nebo příbuzném oboru.
- Nejméně pět let souhrnné praxe v datovém inženýrství, analýze dat, obchodní analýze nebo integraci dat.
- Praktické zkušenosti s implementací nebo používáním standardu Open Contracting Data Standard (OCDS).
- Zkušenosti s vytvářením, dokumentováním, vyjednáváním nebo udržováním datových kontraktů.
- Zkušenosti s mapováním dat o zadávání zakázek nebo smlouvách na schémata OCDS.
- Velmi dobrá znalost vydání, záznamů, schémat, číselníků, identifikátorů, smluvních fází a validačních metod OCDS.
- Nejméně tři roky praktických zkušeností s Databricks.
- Dobrá znalost Apache Spark, PySpark, Pythonu, SQL, Delta Lake, ETL/ELT pipelines, modelování dat, JSON a JSON Schema, REST API, validace kvality dat a mapování zdroj-cíl.
- Zkušenosti se získáváním požadavků a jejich převáděním na konkrétní technické specifikace.
- Jasná komunikace s technickými i netechnickými kolegy.
- Zkušenosti s přípravou uživatelských příběhů, akceptačních kritérií, obchodních pravidel, datových slovníků, specifikací rozhraní a procesní dokumentace.
- Výborné analytické schopnosti, řešení problémů, facilitace a dokumentace.
- Zkušenosti s prací v agilních týmech.
- Výhodou jsou zkušenosti s vládním zadáváním zakázek, veřejnými smlouvami, granty, pořizováním, daty o dodavatelích nebo finančními daty.
- Výhodou jsou zkušenosti s tvorbou rozšíření OCDS nebo přizpůsobením OCDS potřebám organizace.
- Výhodou je znalost klasifikací zadávání zakázek, identifikátorů organizací, výběrových řízení, zadávání zakázek, změn, milníků, transakcí a realizace smluv.
- Výhodou je certifikace Databricks Certified Data Engineer Associate nebo Professional.
- Výhodou jsou zkušenosti s Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, cloudovými službami, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, validátory JSON Schema, automatizovanými rámci kvality dat, správou metadat nebo kmenových dat, původem dat, správou referenčních dat, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins nebo Terraform.
- Výhodou jsou zkušenosti s rozsáhlými datovými programy na federální, státní či místní úrovni nebo v regulovaných podnicích.
- Výhodou je znalost požadavků na federální akvizice, zadávání zakázek, výkaznictví, transparentnost nebo otevřená data.
- Schopnost zapojit se do technických diskusí i diskusí o obchodní analýze.
- Dobré porozumění datovým kontraktům a odpovědnosti poskytovatelů a spotřebitelů.
- Schopnost převádět složité procesy zadávání zakázek na srozumitelné datové struktury a pravidla transformace.
- Pečlivost při interpretaci schémat, číselníků, obchodních definic a validačních požadavků.
- Dobré schopnosti facilitace zainteresovaných stran a řešení konfliktů.
- Schopnost odhalovat mezery a nejasnosti dříve, než způsobí technické vady.
- Důraz na dokumentaci, dohledatelnost, správu dat a jejich kvalitu.
- Schopnost efektivně pracovat ve velkém multidisciplinárním týmu Databricks.
Benefity
- Inzerát neuvádí benefity, výhody ani další odměňování.
Související pracovní nabídky
Nebyly nalezeny žádné pracovní nabídky
Zkuste upravit nebo vymazat filtry a najít další příležitosti.