Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services är ett teknikrådgivnings- och tjänsteföretag som hjälper organisationer i offentlig och privat sektor att hantera och förbättra sina IT-miljöer. Arbetet omfattar styrning av verksamhetens resultat, arkitektur, projektledning, infrastruktur- och applikationshantering samt managerade tjänster. Företaget samarbetar också med AppDynamics, BigPanda, Datadog och AWS inom prestandaövervakning, händelsekorrelation och automatisering, molnövervakning och IT-tjänstehantering. Scicom erbjuder operativ support dygnet runt för global infrastruktur. Företagsprofilen beskriver ett team som arbetar med företagsteknik, SaaS och B2B-teknik. Se aktuella lediga tjänster för information om roller och rekrytering.

Databricks-dataingenjör, OCDS-datakontrakt

Koppla samman upphandlingsintressenter och ingenjörsteam för att definiera datakontrakt i ett stort Databricks-program. Bygg OCDS-anpassade datapipelines och kontroller för tillförlitliga, standardiserade avtalsdata.

Beskrivning

  • Koppla samman verksamhets-, avtals-, styrnings- och ingenjörsteam i en omfattande Databricks-implementering.
  • Leda workshops för kravinsamling med intressenter inom upphandling, program, analys, styrning och teknik.
  • Skapa och underhålla datakontrakt som definierar hur producenter och konsumenter utbyter data.
  • Omvandla verksamhetsbehov till användarberättelser, acceptanskriterier, processflöden, mappningar, gränssnittsspecifikationer och tekniska krav.
  • Analysera källsystem, profilera data, bedöma luckor och mappa källfält till målstrukturer.
  • Jämföra aktuell upphandlingsdata med de strukturer som OCDS kräver.
  • Samordna dataägare, producenter, konsumenter, arkitekter och styrningsteam.
  • Följa krav genom datamodellering, implementering, testning och godkännande.
  • Bedöma hur föreslagna ändringar påverkar dataprodukter, rapporter, integrationer och analytiska användningsfall.
  • Hjälpa till att förbereda och genomföra backlogggenomgångar, sprintplanering, demonstrationer, testning och intressentgodkännanden.
  • Tillämpa OCDS på upphandlings- och offentliga avtalsdata från planering till implementering.
  • Underhålla mappningar för OCDS-releaser, poster, paket, identifierare, organisationer, parter, objekt, milstolpar, dokument, transaktioner, ändringar och relaterade element.
  • Använda OCDS-scheman, kodlistor, valideringsregler och implementeringsvägledning.
  • Identifiera när OCDS-tillägg behövs och dokumentera tillhörande antaganden, regler, mappningar, undantag och tillägg.
  • Skapa avtalsregister från transaktionsreleaser och definiera hantering av ändringar, uppdateringar, avbokningar, korrigeringar och historiska ändringar.
  • Kontrollera transformerade data mot OCDS JSON-scheman och korrigera saknade, ogiltiga, inkonsekventa eller icke-konforma upphandlingsdata.
  • Möjliggöra publicering, utbyte, analys eller intern användning av standardiserade avtalsdata.
  • Bygga, testa och underhålla Databricks-pipelines med Apache Spark, PySpark, Python och SQL.
  • Läsa in och transformera strukturerade och semistrukturerade upphandlingsdata från JSON, CSV, XML, Parquet, databaser, API:er och filer.
  • Skapa Bronze-, Silver- och Gold-lager med medallion-arkitekturen.
  • Utveckla normaliserade, dimensionella, analytiska och OCDS-baserade datamodeller.
  • Använda Delta Lake för att upprätthålla och vidareutveckla scheman, hantera versioner, stödja granskningar och bearbeta data tillförlitligt.
  • Skapa återanvändbara metoder för att omvandla upphandlingsdata från källor till OCDS-kompatibla resultat.
  • Bygga både batchbaserad och inkrementell datainläsning.
  • Använda lämpliga Databricks-verktyg, däribland Workflows, notebooks, jobb, Auto Loader, Delta Live Tables eller Lakeflow.
  • Bygga REST API-anslutningar för inläsning från källor och leverans av data nedströms.
  • Automatisera kontroller av datakvalitet, avstämning, fullständighet och överensstämmelse.
  • Bidra till att implementera Unity Catalog för metadata, ägarskap, härkomst, åtkomstkontroller och dataupptäckt.
  • Förbättra Spark-jobb, SQL-frågor, kluster, partitionering, filstorlekar och datalayout.
  • Bidra till kodgranskningar, automatiserade tester, CI/CD, driftsättningar, övervakning och produktionssupport.
  • Felsöka pipelinefel, datamissmatchningar och prestandaproblem.
  • Fastställa mätbara regler för datanoggrannhet, fullständighet, giltighet, aktualitet, konsekvens och unikhet.
  • Skapa valideringskontroller för OCDS-fält, identifierare, datum, belopp, valutor, organisationer, klassificeringar och avtalsrelationer.
  • Skapa instrumentpaneler eller rapporter om efterlevnad av datakontrakt och datakvalitetsresultat.
  • Skapa metoder för att upptäcka och hantera schemaförändringar.
  • Spåra upphandlingsdatas härkomst genom Databricks-transformationer till nedströmsprodukter.
  • Samarbeta med styrningsteam för att definiera ägare, dataförvaltare, klassificeringar, lagringstider och åtkomstpolicyer.
  • Hantera känsliga upphandlings- och leverantörsdata enligt säkerhets- och integritetskrav.
  • Upprätthålla granskningsspår med dokumenterade regler, versionshanterade mappningar, valideringsresultat och ändringshistorik.

Krav

  • Kandidatexamen inom datavetenskap, informationssystem, dataanalys, verksamhetsanalys, teknik, offentlig förvaltning, supply chain management eller ett närliggande område.
  • Minst fem års samlad erfarenhet av data engineering, dataanalys, verksamhetsanalys eller dataintegration.
  • Praktisk erfarenhet av att implementera eller använda Open Contracting Data Standard (OCDS).
  • Erfarenhet av att skapa, dokumentera, förhandla om eller underhålla datakontrakt.
  • Erfarenhet av att mappa upphandlings- eller avtalsdata till OCDS-scheman.
  • Goda kunskaper om OCDS-releaser, poster, scheman, kodlistor, identifierare, avtalsfaser och valideringsmetoder.
  • Minst tre års praktisk erfarenhet av Databricks.
  • Goda kunskaper i Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-pipelines, datamodellering, JSON och JSON Schema, REST API:er, datakvalitetsvalidering och käll-till-mål-mappning.
  • Erfarenhet av att samla in krav och omvandla dem till konkreta tekniska specifikationer.
  • Tydlig kommunikation med både tekniska och icke-tekniska samarbetspartner.
  • Erfarenhet av att ta fram användarberättelser, acceptanskriterier, verksamhetsregler, dataordlistor, gränssnittsspecifikationer och processdokumentation.
  • God analytisk förmåga samt stark kompetens inom felsökning, facilitering och dokumentation.
  • Erfarenhet av att leverera arbete i agila team.
  • Meriterande: bakgrund inom offentlig upphandling, offentlig sektors avtal, bidrag, anskaffning, leverantörsdata eller finansiella data.
  • Meriterande: erfarenhet av att bygga OCDS-tillägg eller anpassa OCDS efter organisatoriska behov.
  • Meriterande: kunskap om upphandlingsklassificeringar, organisationsidentifierare, anbud, tilldelningar, ändringar, milstolpar, transaktioner och avtalsgenomförande.
  • Meriterande: Databricks Certified Data Engineer Associate- eller Professional-certifiering.
  • Meriterande: erfarenhet av Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, molntjänster, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validerare, automatiserade ramverk för datakvalitet, metadata- eller masterdatahantering, härkomst, styrning av referensdata, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins eller Terraform.
  • Meriterande: erfarenhet av att bidra till stora datarelaterade program på federal, delstatlig, lokal eller reglerad företagsnivå.
  • Meriterande: kunskap om krav för federal anskaffning, upphandling, rapportering, transparens eller öppna data.
  • Förmåga att bidra i både tekniska diskussioner och verksamhetsanalysdiskussioner.
  • God förståelse för datakontrakt och producenters och konsumenters ansvar.
  • Förmåga att omvandla komplexa upphandlingsprocesser till tydliga datastrukturer och transformationsregler.
  • Noggrann vid tolkning av scheman, kodlistor, verksamhetsdefinitioner och valideringskrav.
  • Stark förmåga att facilitera dialog med intressenter och lösa konflikter.
  • Förmåga att upptäcka luckor och oklarheter innan de leder till tekniska fel.
  • Engagemang för dokumentation, spårbarhet, styrning och datakvalitet.
  • Förmåga att arbeta effektivt i ett stort, tvärvetenskapligt Databricks-team.

Förmåner

  • Annonsen anger inga förmåner, extraförmåner eller ytterligare ersättning.

Relaterade jobb

Inga jobb hittades

Prova att justera eller rensa filtren för att hitta fler möjligheter.