
Scicom Infrastructure Services är ett teknikrådgivnings- och tjänsteföretag som hjälper organisationer i offentlig och privat sektor att hantera och förbättra sina IT-miljöer. Arbetet omfattar styrning av verksamhetens resultat, arkitektur, projektledning, infrastruktur- och applikationshantering samt managerade tjänster. Företaget samarbetar också med AppDynamics, BigPanda, Datadog och AWS inom prestandaövervakning, händelsekorrelation och automatisering, molnövervakning och IT-tjänstehantering. Scicom erbjuder operativ support dygnet runt för global infrastruktur. Företagsprofilen beskriver ett team som arbetar med företagsteknik, SaaS och B2B-teknik. Se aktuella lediga tjänster för information om roller och rekrytering.
Databricks-dataingenjör, OCDS-datakontrakt
Koppla samman upphandlingsintressenter och ingenjörsteam för att definiera datakontrakt i ett stort Databricks-program. Bygg OCDS-anpassade datapipelines och kontroller för tillförlitliga, standardiserade avtalsdata.
Beskrivning
- Koppla samman verksamhets-, avtals-, styrnings- och ingenjörsteam i en omfattande Databricks-implementering.
- Leda workshops för kravinsamling med intressenter inom upphandling, program, analys, styrning och teknik.
- Skapa och underhålla datakontrakt som definierar hur producenter och konsumenter utbyter data.
- Omvandla verksamhetsbehov till användarberättelser, acceptanskriterier, processflöden, mappningar, gränssnittsspecifikationer och tekniska krav.
- Analysera källsystem, profilera data, bedöma luckor och mappa källfält till målstrukturer.
- Jämföra aktuell upphandlingsdata med de strukturer som OCDS kräver.
- Samordna dataägare, producenter, konsumenter, arkitekter och styrningsteam.
- Följa krav genom datamodellering, implementering, testning och godkännande.
- Bedöma hur föreslagna ändringar påverkar dataprodukter, rapporter, integrationer och analytiska användningsfall.
- Hjälpa till att förbereda och genomföra backlogggenomgångar, sprintplanering, demonstrationer, testning och intressentgodkännanden.
- Tillämpa OCDS på upphandlings- och offentliga avtalsdata från planering till implementering.
- Underhålla mappningar för OCDS-releaser, poster, paket, identifierare, organisationer, parter, objekt, milstolpar, dokument, transaktioner, ändringar och relaterade element.
- Använda OCDS-scheman, kodlistor, valideringsregler och implementeringsvägledning.
- Identifiera när OCDS-tillägg behövs och dokumentera tillhörande antaganden, regler, mappningar, undantag och tillägg.
- Skapa avtalsregister från transaktionsreleaser och definiera hantering av ändringar, uppdateringar, avbokningar, korrigeringar och historiska ändringar.
- Kontrollera transformerade data mot OCDS JSON-scheman och korrigera saknade, ogiltiga, inkonsekventa eller icke-konforma upphandlingsdata.
- Möjliggöra publicering, utbyte, analys eller intern användning av standardiserade avtalsdata.
- Bygga, testa och underhålla Databricks-pipelines med Apache Spark, PySpark, Python och SQL.
- Läsa in och transformera strukturerade och semistrukturerade upphandlingsdata från JSON, CSV, XML, Parquet, databaser, API:er och filer.
- Skapa Bronze-, Silver- och Gold-lager med medallion-arkitekturen.
- Utveckla normaliserade, dimensionella, analytiska och OCDS-baserade datamodeller.
- Använda Delta Lake för att upprätthålla och vidareutveckla scheman, hantera versioner, stödja granskningar och bearbeta data tillförlitligt.
- Skapa återanvändbara metoder för att omvandla upphandlingsdata från källor till OCDS-kompatibla resultat.
- Bygga både batchbaserad och inkrementell datainläsning.
- Använda lämpliga Databricks-verktyg, däribland Workflows, notebooks, jobb, Auto Loader, Delta Live Tables eller Lakeflow.
- Bygga REST API-anslutningar för inläsning från källor och leverans av data nedströms.
- Automatisera kontroller av datakvalitet, avstämning, fullständighet och överensstämmelse.
- Bidra till att implementera Unity Catalog för metadata, ägarskap, härkomst, åtkomstkontroller och dataupptäckt.
- Förbättra Spark-jobb, SQL-frågor, kluster, partitionering, filstorlekar och datalayout.
- Bidra till kodgranskningar, automatiserade tester, CI/CD, driftsättningar, övervakning och produktionssupport.
- Felsöka pipelinefel, datamissmatchningar och prestandaproblem.
- Fastställa mätbara regler för datanoggrannhet, fullständighet, giltighet, aktualitet, konsekvens och unikhet.
- Skapa valideringskontroller för OCDS-fält, identifierare, datum, belopp, valutor, organisationer, klassificeringar och avtalsrelationer.
- Skapa instrumentpaneler eller rapporter om efterlevnad av datakontrakt och datakvalitetsresultat.
- Skapa metoder för att upptäcka och hantera schemaförändringar.
- Spåra upphandlingsdatas härkomst genom Databricks-transformationer till nedströmsprodukter.
- Samarbeta med styrningsteam för att definiera ägare, dataförvaltare, klassificeringar, lagringstider och åtkomstpolicyer.
- Hantera känsliga upphandlings- och leverantörsdata enligt säkerhets- och integritetskrav.
- Upprätthålla granskningsspår med dokumenterade regler, versionshanterade mappningar, valideringsresultat och ändringshistorik.
Krav
- Kandidatexamen inom datavetenskap, informationssystem, dataanalys, verksamhetsanalys, teknik, offentlig förvaltning, supply chain management eller ett närliggande område.
- Minst fem års samlad erfarenhet av data engineering, dataanalys, verksamhetsanalys eller dataintegration.
- Praktisk erfarenhet av att implementera eller använda Open Contracting Data Standard (OCDS).
- Erfarenhet av att skapa, dokumentera, förhandla om eller underhålla datakontrakt.
- Erfarenhet av att mappa upphandlings- eller avtalsdata till OCDS-scheman.
- Goda kunskaper om OCDS-releaser, poster, scheman, kodlistor, identifierare, avtalsfaser och valideringsmetoder.
- Minst tre års praktisk erfarenhet av Databricks.
- Goda kunskaper i Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-pipelines, datamodellering, JSON och JSON Schema, REST API:er, datakvalitetsvalidering och käll-till-mål-mappning.
- Erfarenhet av att samla in krav och omvandla dem till konkreta tekniska specifikationer.
- Tydlig kommunikation med både tekniska och icke-tekniska samarbetspartner.
- Erfarenhet av att ta fram användarberättelser, acceptanskriterier, verksamhetsregler, dataordlistor, gränssnittsspecifikationer och processdokumentation.
- God analytisk förmåga samt stark kompetens inom felsökning, facilitering och dokumentation.
- Erfarenhet av att leverera arbete i agila team.
- Meriterande: bakgrund inom offentlig upphandling, offentlig sektors avtal, bidrag, anskaffning, leverantörsdata eller finansiella data.
- Meriterande: erfarenhet av att bygga OCDS-tillägg eller anpassa OCDS efter organisatoriska behov.
- Meriterande: kunskap om upphandlingsklassificeringar, organisationsidentifierare, anbud, tilldelningar, ändringar, milstolpar, transaktioner och avtalsgenomförande.
- Meriterande: Databricks Certified Data Engineer Associate- eller Professional-certifiering.
- Meriterande: erfarenhet av Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, molntjänster, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validerare, automatiserade ramverk för datakvalitet, metadata- eller masterdatahantering, härkomst, styrning av referensdata, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins eller Terraform.
- Meriterande: erfarenhet av att bidra till stora datarelaterade program på federal, delstatlig, lokal eller reglerad företagsnivå.
- Meriterande: kunskap om krav för federal anskaffning, upphandling, rapportering, transparens eller öppna data.
- Förmåga att bidra i både tekniska diskussioner och verksamhetsanalysdiskussioner.
- God förståelse för datakontrakt och producenters och konsumenters ansvar.
- Förmåga att omvandla komplexa upphandlingsprocesser till tydliga datastrukturer och transformationsregler.
- Noggrann vid tolkning av scheman, kodlistor, verksamhetsdefinitioner och valideringskrav.
- Stark förmåga att facilitera dialog med intressenter och lösa konflikter.
- Förmåga att upptäcka luckor och oklarheter innan de leder till tekniska fel.
- Engagemang för dokumentation, spårbarhet, styrning och datakvalitet.
- Förmåga att arbeta effektivt i ett stort, tvärvetenskapligt Databricks-team.
Förmåner
- Annonsen anger inga förmåner, extraförmåner eller ytterligare ersättning.
Relaterade jobb
Inga jobb hittades
Prova att justera eller rensa filtren för att hitta fler möjligheter.