Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services er en teknologikonsulent- og servicevirksomhed, der hjælper organisationer i den offentlige og private sektor med at administrere og forbedre deres IT-miljøer. Arbejdet omfatter styring af virksomhedens resultater, arkitektur, projektledelse, infrastruktur- og applikationsadministration samt administrerede tjenester. Virksomheden samarbejder også med AppDynamics, BigPanda, Datadog og AWS om performanceovervågning, hændelseskorrelation og automatisering, cloudovervågning og IT-servicestyring. Scicom yder operationel support døgnet rundt til global infrastruktur. Virksomhedsprofilen beskriver et team, der arbejder med enterprise-teknologi, SaaS og B2B-teknologi. Se aktuelle ledige stillinger for oplysninger om roller og rekruttering.

Databricks-dataingeniør, OCDS-datak kontrakter

Forbind interessenter inden for offentlige indkøb med ingeniørteams for at definere datakontrakter i et stort Databricks-program. Byg OCDS-tilpassede datapipelines og kontroller for pålidelige, standardiserede kontraktdata.

Beskrivelse

  • Forbind forretnings-, kontrakt-, governance- og ingeniørteams i en stor Databricks-implementering.
  • Lede workshops om krav med interessenter inden for indkøb, program, analyse, governance og teknik.
  • Oprette og vedligeholde datakontrakter, der definerer, hvordan producenter og forbrugere udveksler data.
  • Omsætte forretningsbehov til brugerhistorier, acceptkriterier, procesforløb, mappinger, grænsefladespecifikationer og tekniske krav.
  • Analysere kildesystemer, profilere data, vurdere mangler og mappe kildefelter til målstrukturer.
  • Sammenligne aktuelle indkøbsdata med de strukturer, som OCDS kræver.
  • Skabe enighed mellem dataejere, producenter, forbrugere, arkitekter og governance-teams.
  • Følge krav gennem datamodellering, implementering, test og godkendelse.
  • Vurdere, hvordan foreslåede ændringer påvirker dataprodukter, rapporter, integrationer og analytiske anvendelser.
  • Hjælpe med at forberede og afholde backloggennemgange, sprintplanlægning, demoer, test og interessentgodkendelse.
  • Anvende OCDS på indkøbs- og offentlige kontraktdata fra planlægning til implementering.
  • Vedligeholde mappinger for OCDS-releases, records, pakker, identifikatorer, organisationer, parter, elementer, milepæle, dokumenter, transaktioner, ændringer og relaterede elementer.
  • Bruge OCDS-skemaer, kodelister, valideringsregler og implementeringsvejledning.
  • Identificere behov for OCDS-udvidelser og dokumentere tilhørende antagelser, regler, mappinger, undtagelser og udvidelser.
  • Opbygge kontraktregistre fra transaktionsreleases og definere håndtering af ændringer, opdateringer, annulleringer, rettelser og historiske ændringer.
  • Kontrollere transformerede data mod OCDS JSON-skemaer og rette manglende, ugyldige, inkonsistente eller ikke-konforme indkøbsdata.
  • Muliggøre offentliggørelse, udveksling, analyse eller intern brug af standardiserede kontraktdata.
  • Bygge, teste og vedligeholde Databricks-pipelines med Apache Spark, PySpark, Python og SQL.
  • Indlæse og transformere strukturerede og semistrukturerede indkøbsdata fra JSON, CSV, XML, Parquet, databaser, API'er og filer.
  • Oprette Bronze-, Silver- og Gold-lag med medallion-arkitekturen.
  • Udvikle normaliserede, dimensionelle, analytiske og OCDS-baserede datamodeller.
  • Bruge Delta Lake til at håndhæve og videreudvikle skemaer, håndtere versioner, understøtte revisioner og behandle data pålideligt.
  • Skabe genanvendelige metoder til at konvertere indkøbsdata fra kilder til OCDS-kompatible resultater.
  • Bygge både batchbaseret og inkrementel dataindlæsning.
  • Bruge passende Databricks-værktøjer, herunder Workflows, notebooks, jobs, Auto Loader, Delta Live Tables eller Lakeflow.
  • Bygge REST API-forbindelser til dataindlæsning fra kilder og levering af data til efterfølgende systemer.
  • Automatisere kontroller af datakvalitet, afstemning, fuldstændighed og overensstemmelse.
  • Hjælpe med at implementere Unity Catalog til metadata, ejerskab, dataafstamning, adgangskontroller og dataopdagelse.
  • Forbedre Spark-jobs, SQL-forespørgsler, klynger, partitionering, filstørrelser og datalayouts.
  • Bidrage til kodegennemgange, automatiserede tests, CI/CD, udrulninger, overvågning og produktionssupport.
  • Diagnosticere pipelinefejl, datamismatch og ydelsesproblemer.
  • Fastlægge målbare regler for dataenes nøjagtighed, fuldstændighed, gyldighed, aktualitet, konsistens og entydighed.
  • Oprette valideringskontroller for OCDS-felter, identifikatorer, datoer, beløb, valutaer, organisationer, klassifikationer og kontraktrelationer.
  • Udarbejde dashboards eller rapporter om overholdelse af datakontrakter og datakvalitetsresultater.
  • Etablere metoder til at opdage og håndtere skemaændringer.
  • Spore indkøbsdatas dataafstamning gennem Databricks-transformationer til efterfølgende produkter.
  • Samarbejde med governance-teams om at definere ejere, dataforvaltere, klassifikationer, opbevaring og adgangspolitikker.
  • Håndtere følsomme indkøbs- og leverandørdata i overensstemmelse med krav til sikkerhed og privatliv.
  • Vedligeholde revisionsspor med dokumenterede regler, versionsstyrede mappinger, valideringsresultater og ændringshistorik.

Krav

  • Bachelorgrad i datalogi, informationssystemer, dataanalyse, forretningsanalyse, ingeniørvidenskab, offentlig administration, supply chain management eller et beslægtet fagområde.
  • Mindst fem års samlet erfaring med data engineering, dataanalyse, forretningsanalyse eller dataintegration.
  • Praktisk erfaring med at implementere eller bruge Open Contracting Data Standard (OCDS).
  • Erfaring med at oprette, dokumentere, forhandle eller vedligeholde datakontrakter.
  • Erfaring med at mappe indkøbs- eller kontraktdata til OCDS-skemaer.
  • Stærkt kendskab til OCDS-releases, records, skemaer, kodelister, identifikatorer, kontraktfaser og valideringsmetoder.
  • Mindst tre års praktisk erfaring med Databricks.
  • Stærke færdigheder i Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-pipelines, datamodellering, JSON og JSON Schema, REST API'er, datakvalitetsvalidering og mapping fra kilde til mål.
  • Erfaring med at indhente krav og omsætte dem til konkrete tekniske specifikationer.
  • Tydelig kommunikation med både tekniske og ikke-tekniske samarbejdspartnere.
  • Erfaring med at udarbejde brugerhistorier, acceptkriterier, forretningsregler, dataordbøger, grænsefladespecifikationer og procesdokumentation.
  • Stærke evner inden for analyse, fejlfinding, facilitering og dokumentation.
  • Erfaring med at levere arbejde i agile teams.
  • Foretrækkes: baggrund inden for offentlige indkøb, offentlige kontrakter, tilskud, anskaffelser, leverandørdata eller finansielle data.
  • Foretrækkes: erfaring med at bygge OCDS-udvidelser eller tilpasse OCDS til organisatoriske behov.
  • Foretrækkes: kendskab til indkøbsklassifikationer, organisationsidentifikatorer, udbud, tildelinger, ændringer, milepæle, transaktioner og kontraktimplementering.
  • Foretrækkes: Databricks Certified Data Engineer Associate- eller Professional-certificering.
  • Foretrækkes: erfaring med Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, cloudtjenester, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validatorer, automatiserede datakvalitetsrammer, metadata- eller masterdatahåndtering, dataafstamning, styring af referencedata, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins eller Terraform.
  • Foretrækkes: erfaring med at bidrage til store datarelaterede programmer på føderalt, delstatsligt, kommunalt eller reguleret virksomhedsniveau.
  • Foretrækkes: kendskab til krav om føderale anskaffelser, indkøb, rapportering, gennemsigtighed eller åbne data.
  • Evne til at bidrage til både tekniske diskussioner og forretningsanalytiske drøftelser.
  • God forståelse af datakontrakter samt producenters og forbrugeres ansvar.
  • Evne til at omsætte komplekse indkøbsprocesser til tydelige datastrukturer og transformationsregler.
  • Omhyggelig ved fortolkning af skemaer, kodelister, forretningsdefinitioner og valideringskrav.
  • Stærke evner inden for facilitering af interessenter og konfliktløsning.
  • Evne til at finde mangler og uklarheder, før de fører til tekniske fejl.
  • Engagement i dokumentation, sporbarhed, governance og datakvalitet.
  • Evne til at arbejde effektivt i et stort, tværfagligt Databricks-team.

Fordele

  • Stillingsopslaget angiver ikke fordele, personalegoder eller yderligere lønkompensation.

Relaterede job

Ingen job fundet

Prøv at justere eller rydde filtrene for at finde flere muligheder.