
Scicom Infrastructure Services er en teknologikonsulent- og servicevirksomhed, der hjælper organisationer i den offentlige og private sektor med at administrere og forbedre deres IT-miljøer. Arbejdet omfatter styring af virksomhedens resultater, arkitektur, projektledelse, infrastruktur- og applikationsadministration samt administrerede tjenester. Virksomheden samarbejder også med AppDynamics, BigPanda, Datadog og AWS om performanceovervågning, hændelseskorrelation og automatisering, cloudovervågning og IT-servicestyring. Scicom yder operationel support døgnet rundt til global infrastruktur. Virksomhedsprofilen beskriver et team, der arbejder med enterprise-teknologi, SaaS og B2B-teknologi. Se aktuelle ledige stillinger for oplysninger om roller og rekruttering.
Databricks-dataingeniør, OCDS-datak kontrakter
Forbind interessenter inden for offentlige indkøb med ingeniørteams for at definere datakontrakter i et stort Databricks-program. Byg OCDS-tilpassede datapipelines og kontroller for pålidelige, standardiserede kontraktdata.
Beskrivelse
- Forbind forretnings-, kontrakt-, governance- og ingeniørteams i en stor Databricks-implementering.
- Lede workshops om krav med interessenter inden for indkøb, program, analyse, governance og teknik.
- Oprette og vedligeholde datakontrakter, der definerer, hvordan producenter og forbrugere udveksler data.
- Omsætte forretningsbehov til brugerhistorier, acceptkriterier, procesforløb, mappinger, grænsefladespecifikationer og tekniske krav.
- Analysere kildesystemer, profilere data, vurdere mangler og mappe kildefelter til målstrukturer.
- Sammenligne aktuelle indkøbsdata med de strukturer, som OCDS kræver.
- Skabe enighed mellem dataejere, producenter, forbrugere, arkitekter og governance-teams.
- Følge krav gennem datamodellering, implementering, test og godkendelse.
- Vurdere, hvordan foreslåede ændringer påvirker dataprodukter, rapporter, integrationer og analytiske anvendelser.
- Hjælpe med at forberede og afholde backloggennemgange, sprintplanlægning, demoer, test og interessentgodkendelse.
- Anvende OCDS på indkøbs- og offentlige kontraktdata fra planlægning til implementering.
- Vedligeholde mappinger for OCDS-releases, records, pakker, identifikatorer, organisationer, parter, elementer, milepæle, dokumenter, transaktioner, ændringer og relaterede elementer.
- Bruge OCDS-skemaer, kodelister, valideringsregler og implementeringsvejledning.
- Identificere behov for OCDS-udvidelser og dokumentere tilhørende antagelser, regler, mappinger, undtagelser og udvidelser.
- Opbygge kontraktregistre fra transaktionsreleases og definere håndtering af ændringer, opdateringer, annulleringer, rettelser og historiske ændringer.
- Kontrollere transformerede data mod OCDS JSON-skemaer og rette manglende, ugyldige, inkonsistente eller ikke-konforme indkøbsdata.
- Muliggøre offentliggørelse, udveksling, analyse eller intern brug af standardiserede kontraktdata.
- Bygge, teste og vedligeholde Databricks-pipelines med Apache Spark, PySpark, Python og SQL.
- Indlæse og transformere strukturerede og semistrukturerede indkøbsdata fra JSON, CSV, XML, Parquet, databaser, API'er og filer.
- Oprette Bronze-, Silver- og Gold-lag med medallion-arkitekturen.
- Udvikle normaliserede, dimensionelle, analytiske og OCDS-baserede datamodeller.
- Bruge Delta Lake til at håndhæve og videreudvikle skemaer, håndtere versioner, understøtte revisioner og behandle data pålideligt.
- Skabe genanvendelige metoder til at konvertere indkøbsdata fra kilder til OCDS-kompatible resultater.
- Bygge både batchbaseret og inkrementel dataindlæsning.
- Bruge passende Databricks-værktøjer, herunder Workflows, notebooks, jobs, Auto Loader, Delta Live Tables eller Lakeflow.
- Bygge REST API-forbindelser til dataindlæsning fra kilder og levering af data til efterfølgende systemer.
- Automatisere kontroller af datakvalitet, afstemning, fuldstændighed og overensstemmelse.
- Hjælpe med at implementere Unity Catalog til metadata, ejerskab, dataafstamning, adgangskontroller og dataopdagelse.
- Forbedre Spark-jobs, SQL-forespørgsler, klynger, partitionering, filstørrelser og datalayouts.
- Bidrage til kodegennemgange, automatiserede tests, CI/CD, udrulninger, overvågning og produktionssupport.
- Diagnosticere pipelinefejl, datamismatch og ydelsesproblemer.
- Fastlægge målbare regler for dataenes nøjagtighed, fuldstændighed, gyldighed, aktualitet, konsistens og entydighed.
- Oprette valideringskontroller for OCDS-felter, identifikatorer, datoer, beløb, valutaer, organisationer, klassifikationer og kontraktrelationer.
- Udarbejde dashboards eller rapporter om overholdelse af datakontrakter og datakvalitetsresultater.
- Etablere metoder til at opdage og håndtere skemaændringer.
- Spore indkøbsdatas dataafstamning gennem Databricks-transformationer til efterfølgende produkter.
- Samarbejde med governance-teams om at definere ejere, dataforvaltere, klassifikationer, opbevaring og adgangspolitikker.
- Håndtere følsomme indkøbs- og leverandørdata i overensstemmelse med krav til sikkerhed og privatliv.
- Vedligeholde revisionsspor med dokumenterede regler, versionsstyrede mappinger, valideringsresultater og ændringshistorik.
Krav
- Bachelorgrad i datalogi, informationssystemer, dataanalyse, forretningsanalyse, ingeniørvidenskab, offentlig administration, supply chain management eller et beslægtet fagområde.
- Mindst fem års samlet erfaring med data engineering, dataanalyse, forretningsanalyse eller dataintegration.
- Praktisk erfaring med at implementere eller bruge Open Contracting Data Standard (OCDS).
- Erfaring med at oprette, dokumentere, forhandle eller vedligeholde datakontrakter.
- Erfaring med at mappe indkøbs- eller kontraktdata til OCDS-skemaer.
- Stærkt kendskab til OCDS-releases, records, skemaer, kodelister, identifikatorer, kontraktfaser og valideringsmetoder.
- Mindst tre års praktisk erfaring med Databricks.
- Stærke færdigheder i Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-pipelines, datamodellering, JSON og JSON Schema, REST API'er, datakvalitetsvalidering og mapping fra kilde til mål.
- Erfaring med at indhente krav og omsætte dem til konkrete tekniske specifikationer.
- Tydelig kommunikation med både tekniske og ikke-tekniske samarbejdspartnere.
- Erfaring med at udarbejde brugerhistorier, acceptkriterier, forretningsregler, dataordbøger, grænsefladespecifikationer og procesdokumentation.
- Stærke evner inden for analyse, fejlfinding, facilitering og dokumentation.
- Erfaring med at levere arbejde i agile teams.
- Foretrækkes: baggrund inden for offentlige indkøb, offentlige kontrakter, tilskud, anskaffelser, leverandørdata eller finansielle data.
- Foretrækkes: erfaring med at bygge OCDS-udvidelser eller tilpasse OCDS til organisatoriske behov.
- Foretrækkes: kendskab til indkøbsklassifikationer, organisationsidentifikatorer, udbud, tildelinger, ændringer, milepæle, transaktioner og kontraktimplementering.
- Foretrækkes: Databricks Certified Data Engineer Associate- eller Professional-certificering.
- Foretrækkes: erfaring med Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, cloudtjenester, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validatorer, automatiserede datakvalitetsrammer, metadata- eller masterdatahåndtering, dataafstamning, styring af referencedata, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins eller Terraform.
- Foretrækkes: erfaring med at bidrage til store datarelaterede programmer på føderalt, delstatsligt, kommunalt eller reguleret virksomhedsniveau.
- Foretrækkes: kendskab til krav om føderale anskaffelser, indkøb, rapportering, gennemsigtighed eller åbne data.
- Evne til at bidrage til både tekniske diskussioner og forretningsanalytiske drøftelser.
- God forståelse af datakontrakter samt producenters og forbrugeres ansvar.
- Evne til at omsætte komplekse indkøbsprocesser til tydelige datastrukturer og transformationsregler.
- Omhyggelig ved fortolkning af skemaer, kodelister, forretningsdefinitioner og valideringskrav.
- Stærke evner inden for facilitering af interessenter og konfliktløsning.
- Evne til at finde mangler og uklarheder, før de fører til tekniske fejl.
- Engagement i dokumentation, sporbarhed, governance og datakvalitet.
- Evne til at arbejde effektivt i et stort, tværfagligt Databricks-team.
Fordele
- Stillingsopslaget angiver ikke fordele, personalegoder eller yderligere lønkompensation.
Relaterede job
Ingen job fundet
Prøv at justere eller rydde filtrene for at finde flere muligheder.