
Scicom Infrastructure Services er et teknologikonsulent- og tjenesteselskap som hjelper organisasjoner i offentlig og privat sektor med å administrere og forbedre IT-miljøene sine. Arbeidet omfatter styring av virksomhetens resultater, arkitektur, prosjektledelse, infrastruktur- og applikasjonsadministrasjon samt administrerte tjenester. Selskapet samarbeider også med AppDynamics, BigPanda, Datadog og AWS om ytelsesovervåking, hendelseskorrelasjon og automatisering, skyovervåking og IT-tjenesteadministrasjon. Scicom tilbyr operasjonell støtte døgnet rundt for global infrastruktur. Selskapsprofilen beskriver et team som jobber med enterprise-teknologi, SaaS og B2B-teknologi. Se aktuelle ledige stillinger for informasjon om roller og rekruttering.
Databricks-dataingeniør, OCDS-datakontrakter
Knytt interessenter innen offentlige anskaffelser sammen med ingeniørteam for å definere datakontrakter i et stort Databricks-program. Bygg OCDS-tilpassede datapipelines og kontroller for pålitelige, standardiserte kontraktsdata.
Beskrivelse
- Knytte sammen virksomhets-, kontrakts-, styrings- og ingeniørteam i en omfattende Databricks-implementering.
- Lede workshops for kravinnhenting med interessenter innen anskaffelser, program, analyse, styring og teknologi.
- Opprette og vedlikeholde datakontrakter som definerer hvordan produsenter og konsumenter utveksler data.
- Gjøre virksomhetsbehov om til brukerhistorier, akseptansekriterier, prosessflyter, mappinger, grensesnittspesifikasjoner og tekniske krav.
- Analysere kildesystemer, profilere data, vurdere mangler og mappe kildefelt til målstrukturer.
- Sammenligne gjeldende anskaffelsesdata med strukturene OCDS krever.
- Samordne dataeiere, produsenter, konsumenter, arkitekter og styringsteam.
- Følge krav gjennom datamodellering, implementering, testing og godkjenning.
- Vurdere hvordan foreslåtte endringer påvirker dataprodukter, rapporter, integrasjoner og analytiske bruksområder.
- Bidra til å forberede og gjennomføre backloggjennomganger, sprintplanlegging, demonstrasjoner, testing og interessentgodkjenning.
- Anvende OCDS på anskaffelses- og offentlige kontraktsdata fra planlegging til implementering.
- Vedlikeholde mappinger for OCDS-releaser, poster, pakker, identifikatorer, organisasjoner, parter, elementer, milepæler, dokumenter, transaksjoner, endringer og relaterte elementer.
- Bruke OCDS-skjemaer, kodelister, valideringsregler og implementeringsveiledning.
- Identifisere når OCDS-utvidelser trengs, og dokumentere tilhørende forutsetninger, regler, mappinger, unntak og utvidelser.
- Bygge kontraktsregistre fra transaksjonsreleaser og definere håndtering av endringer, oppdateringer, kanselleringer, korrigeringer og historiske endringer.
- Kontrollere transformerte data mot OCDS JSON-skjemaer og rette manglende, ugyldige, inkonsistente eller ikke-konforme anskaffelsesdata.
- Muliggjøre publisering, utveksling, analyse eller intern bruk av standardiserte kontraktsdata.
- Bygge, teste og vedlikeholde Databricks-pipelines med Apache Spark, PySpark, Python og SQL.
- Lese inn og transformere strukturerte og semistrukturerte anskaffelsesdata fra JSON, CSV, XML, Parquet, databaser, API-er og filer.
- Opprette Bronze-, Silver- og Gold-lag med medallion-arkitekturen.
- Utvikle normaliserte, dimensjonale, analytiske og OCDS-baserte datamodeller.
- Bruke Delta Lake til å håndheve og videreutvikle skjemaer, håndtere versjoner, støtte revisjoner og behandle data pålitelig.
- Lage gjenbrukbare metoder for å konvertere anskaffelsesdata fra kilder til OCDS-kompatible resultater.
- Bygge både batchbasert og inkrementell datainnhenting.
- Bruke egnede Databricks-verktøy, blant annet Workflows, notebooks, jobber, Auto Loader, Delta Live Tables eller Lakeflow.
- Bygge REST API-tilkoblinger for innhenting fra kilder og levering av data til nedstrømssystemer.
- Automatisere kontroller av datakvalitet, avstemming, fullstendighet og samsvar.
- Bidra til å implementere Unity Catalog for metadata, eierskap, dataopprinnelse, tilgangskontroller og dataoppdagelse.
- Forbedre Spark-jobber, SQL-spørringer, klynger, partisjonering, filstørrelser og datalayout.
- Bidra til kodegjennomganger, automatiserte tester, CI/CD, utrullinger, overvåking og produksjonsstøtte.
- Diagnostisere pipelinefeil, datamismatch og ytelsesproblemer.
- Fastsette målbare regler for dataenes nøyaktighet, fullstendighet, gyldighet, aktualitet, konsistens og unikhet.
- Opprette valideringskontroller for OCDS-felt, identifikatorer, datoer, beløp, valutaer, organisasjoner, klassifiseringer og kontraktsrelasjoner.
- Lage dashbord eller rapporter om etterlevelse av datakontrakter og resultater for datakvalitet.
- Etablere metoder for å oppdage og håndtere skjemadrift.
- Sporer anskaffelsesdataenes opprinnelse gjennom Databricks-transformasjoner til nedstrømsprodukter.
- Samarbeide med styringsteam om å definere eiere, dataforvaltere, klassifiseringer, oppbevaring og tilgangspolicyer.
- Håndtere sensitive anskaffelses- og leverandørdata i tråd med krav til sikkerhet og personvern.
- Vedlikeholde revisjonsspor med dokumenterte regler, versjonsstyrte mappinger, valideringsresultater og endringshistorikk.
Krav
- Bachelorgrad innen informatikk, informasjonssystemer, dataanalyse, forretningsanalyse, ingeniørfag, offentlig administrasjon, forsyningskjedeledelse eller et beslektet fagområde.
- Minst fem års samlet erfaring med data engineering, dataanalyse, forretningsanalyse eller dataintegrasjon.
- Praktisk erfaring med å implementere eller bruke Open Contracting Data Standard (OCDS).
- Erfaring med å opprette, dokumentere, forhandle om eller vedlikeholde datakontrakter.
- Erfaring med å mappe anskaffelses- eller kontraktsdata til OCDS-skjemaer.
- Solid kjennskap til OCDS-releaser, poster, skjemaer, kodelister, identifikatorer, kontraktsfaser og valideringsmetoder.
- Minst tre års praktisk erfaring med Databricks.
- Gode ferdigheter i Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-pipelines, datamodellering, JSON og JSON Schema, REST API-er, datakvalitetsvalidering og mapping fra kilde til mål.
- Erfaring med å hente inn krav og omsette dem til konkrete tekniske spesifikasjoner.
- Tydelig kommunikasjon med både tekniske og ikke-tekniske samarbeidspartnere.
- Erfaring med å utarbeide brukerhistorier, akseptansekriterier, forretningsregler, dataordbøker, grensesnittspesifikasjoner og prosessdokumentasjon.
- Sterke evner innen analyse, feilsøking, fasilitering og dokumentasjon.
- Erfaring med å levere arbeid i smidige team.
- Ønskelig: bakgrunn innen offentlige anskaffelser, kontrakter i offentlig sektor, tilskudd, innkjøp, leverandørdata eller finansielle data.
- Ønskelig: erfaring med å bygge OCDS-utvidelser eller tilpasse OCDS til organisatoriske behov.
- Ønskelig: kjennskap til anskaffelsesklassifiseringer, organisasjonsidentifikatorer, anbud, tildelinger, endringer, milepæler, transaksjoner og kontraktsgjennomføring.
- Ønskelig: Databricks Certified Data Engineer Associate- eller Professional-sertifisering.
- Ønskelig: erfaring med Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, skytjenester, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validatorer, automatiserte rammeverk for datakvalitet, metadata- eller masterdatahåndtering, dataopprinnelse, styring av referansedata, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins eller Terraform.
- Ønskelig: erfaring med å bidra til store dataprogrammer på føderalt, delstatlig, kommunalt eller regulert virksomhetsnivå.
- Ønskelig: kjennskap til krav for føderale anskaffelser, innkjøp, rapportering, åpenhet eller åpne data.
- Evne til å bidra i både tekniske diskusjoner og diskusjoner om forretningsanalyse.
- God forståelse av datakontrakter og ansvarliggjøring av produsenter og konsumenter.
- Evne til å omsette komplekse anskaffelsesprosesser til tydelige datastrukturer og transformasjonsregler.
- Nøyaktig ved tolkning av skjemaer, kodelister, virksomhetsdefinisjoner og valideringskrav.
- Gode evner innen fasilitering av interessenter og konfliktløsning.
- Evne til å finne mangler og uklarheter før de fører til tekniske feil.
- Engasjement for dokumentasjon, sporbarhet, styring og datakvalitet.
- Evne til å arbeide effektivt i et stort, tverrfaglig Databricks-team.
Fordeler
- Stillingsannonsen spesifiserer ikke fordeler, frynsegoder eller ekstra kompensasjon.
Relaterte jobber
Ingen jobber funnet
Prøv å justere eller tømme filtrene for å finne flere muligheter.