Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services is een advies- en dienstverlenend technologiebedrijf dat organisaties in de publieke en private sector helpt hun IT-omgevingen te beheren en te verbeteren. De werkzaamheden omvatten enterprise performance management, architectuur, projectmanagement, infrastructuur- en applicatiebeheer en managed services. Daarnaast werkt het bedrijf samen met AppDynamics, BigPanda, Datadog en AWS op het gebied van prestatiemonitoring, gebeurteniscorrelatie en automatisering, cloudmonitoring en IT-servicemanagement. Scicom biedt 24 uur per dag operationele ondersteuning voor wereldwijde infrastructuur. Het bedrijfsprofiel beschrijft een team dat actief is op het gebied van enterprise-, SaaS- en B2B-technologie. Bekijk de actuele vacatures voor informatie over functies en werving.

Databricks-data-engineer voor OCDS-datacontracten

Breng inkoopstakeholders en engineeringteams samen om datacontracten voor een groot Databricks-programma vast te stellen. Bouw OCDS-conforme pipelines en controles voor betrouwbare, gestandaardiseerde contractgegevens.

Beschrijving

  • Verbind bedrijfs-, contract-, governance- en engineeringteams bij een grootschalige Databricks-implementatie.
  • Leid workshops over vereisten met stakeholders uit inkoop, programma’s, analytics, governance en techniek.
  • Stel datacontracten op en onderhoud ze, zodat duidelijk is hoe producenten en afnemers gegevens uitwisselen.
  • Vertaal bedrijfsbehoeften naar user stories, acceptatiecriteria, processtromen, mappings, interfacespecificaties en engineeringvereisten.
  • Analyseer bronsystemen, profileer gegevens, beoordeel hiaten en map bronvelden op doelstructuren.
  • Vergelijk de huidige inkoopgegevens met de structuren die OCDS vereist.
  • Breng gegevenseigenaren, producenten, afnemers, architecten en governanceteams op één lijn.
  • Volg vereisten tijdens datamodellering, implementatie, tests en acceptatie.
  • Beoordeel hoe voorgestelde wijzigingen van invloed zijn op datap producten, rapporten, integraties en analytische gebruiksscenario’s.
  • Help met de voorbereiding en uitvoering van backlogreviews, sprintplanning, demo’s, tests en acceptatie door stakeholders.
  • Pas OCDS toe op inkoop- en overheidscontractgegevens, van planning tot implementatie.
  • Onderhoud mappings voor OCDS-releases, records, pakketten, identificatiecodes, organisaties, partijen, items, mijlpalen, documenten, transacties, wijzigingen en gerelateerde elementen.
  • Gebruik OCDS-schema’s, codelijsten, validatieregels en implementatierichtlijnen.
  • Bepaal wanneer OCDS-uitbreidingen nodig zijn en documenteer de bijbehorende aannames, regels, mappings, uitzonderingen en uitbreidingen.
  • Stel contractrecords samen uit transactionele releases en bepaal hoe wijzigingen, updates, annuleringen, correcties en historische aanpassingen worden verwerkt.
  • Controleer getransformeerde gegevens aan de hand van OCDS JSON-schema’s en herstel ontbrekende, ongeldige, inconsistente of niet-conforme inkoopgegevens.
  • Maak publicatie, uitwisseling, analyse of intern gebruik van gestandaardiseerde contractgegevens mogelijk.
  • Bouw, test en onderhoud Databricks-pipelines met Apache Spark, PySpark, Python en SQL.
  • Neem gestructureerde en semigestructureerde inkoopgegevens op uit JSON, CSV, XML, Parquet, databases, API’s en bestanden, en transformeer ze.
  • Maak Bronze-, Silver- en Gold-lagen met de medallion-architectuur.
  • Ontwikkel genormaliseerde, dimensionale, analytische en op OCDS gebaseerde datamodellen.
  • Gebruik Delta Lake om schema’s af te dwingen en door te ontwikkelen, versies te beheren, audits te ondersteunen en gegevens betrouwbaar te verwerken.
  • Ontwikkel herbruikbare methoden om brongegevens uit inkoop om te zetten in OCDS-compatibele uitvoer.
  • Bouw zowel batchgewijze als incrementele gegevensinname.
  • Gebruik geschikte Databricks-tools, waaronder Workflows, notebooks, jobs, Auto Loader, Delta Live Tables of Lakeflow.
  • Bouw REST API-koppelingen voor broninname en gegevenslevering aan downstreamsystemen.
  • Automatiseer controles op datakwaliteit, reconciliatie, volledigheid en conformiteit.
  • Help Unity Catalog implementeren voor metadata, eigenaarschap, lineage, toegangsbeheer en gegevensdetectie.
  • Verbeter Spark-jobs, SQL-query’s, clusters, partitionering, bestandsgroottes en data-indelingen.
  • Draag bij aan codereviews, geautomatiseerde tests, CI/CD, deployments, monitoring en productieondersteuning.
  • Onderzoek pipeline-uitval, verschillen in gegevens en prestatieproblemen.
  • Stel meetbare regels vast voor gegevensnauwkeurigheid, volledigheid, geldigheid, actualiteit, consistentie en uniciteit.
  • Maak validatiecontroles voor OCDS-velden, identificatiecodes, datums, bedragen, valuta’s, organisaties, classificaties en contractrelaties.
  • Bouw dashboards of rapporten over de naleving van datacontracten en resultaten van datakwaliteitscontroles.
  • Richt methoden in om schemaveranderingen te detecteren en te beheren.
  • Traceer de herkomst van inkoopgegevens door Databricks-transformaties naar downstreamproducten.
  • Werk met governanceteams aan het vaststellen van eigenaren, stewards, classificaties, bewaartermijnen en toegangsbeleid.
  • Verwerk gevoelige inkoop- en leveranciersgegevens volgens beveiligings- en privacyvereisten.
  • Onderhoud auditsporen met gedocumenteerde regels, versiebeheer voor mappings, validatieresultaten en wijzigingsgeschiedenis.

Vereisten

  • Bachelordiploma in informatica, informatiesystemen, data-analyse, bedrijfsanalyse, techniek, openbaar bestuur, supplychainmanagement of een verwante richting.
  • Minimaal vijf jaar gecombineerde ervaring in data-engineering, data-analyse, bedrijfsanalyse of data-integratie.
  • Praktische ervaring met de implementatie of het gebruik van de Open Contracting Data Standard (OCDS).
  • Ervaring met het opstellen, documenteren, afstemmen of onderhouden van datacontracten.
  • Ervaring met het mappen van inkoop- of contractgegevens op OCDS-schema’s.
  • Grondige kennis van OCDS-releases, records, schema’s, codelijsten, identificatiecodes, contractfasen en validatiemethoden.
  • Minimaal drie jaar praktische ervaring met Databricks.
  • Sterke vaardigheden in Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-pipelines, datamodellering, JSON en JSON Schema, REST API’s, datakwaliteitsvalidatie en bron-doelmapping.
  • Ervaring met het ophalen van vereisten en vertalen ervan naar bruikbare engineeringspecificaties.
  • Heldere communicatie met zowel technische als niet-technische partners.
  • Ervaring met het opstellen van user stories, acceptatiecriteria, bedrijfsregels, datawoordenboeken, interfacespecificaties en procesdocumentatie.
  • Sterke vaardigheden op het gebied van analyse, probleemoplossing, faciliteren en documenteren.
  • Ervaring met werken in agile teams.
  • Pré: achtergrond in overheidsinkoop, overheidscontracten, subsidies, aanbestedingen, leveranciers- of financiële gegevens.
  • Pré: ervaring met het bouwen van OCDS-uitbreidingen of het aanpassen van OCDS aan organisatorische behoeften.
  • Pré: bekendheid met inkoopclassificaties, organisatie-identificatiecodes, aanbestedingen, gunningen, wijzigingen, mijlpalen, transacties en contractuitvoering.
  • Pré: certificering Databricks Certified Data Engineer Associate of Professional.
  • Pré: ervaring met Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, clouddiensten, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validators, geautomatiseerde datakwaliteitsframeworks, metadata- of masterdatabeheer, lineage, beheer van referentiegegevens, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins of Terraform.
  • Pré: ervaring met bijdragen aan grote data programma’s van de federale, regionale of lokale overheid, of van gereguleerde ondernemingen.
  • Pré: bekendheid met vereisten voor federale verwerving, inkoop, rapportage, transparantie of open data.
  • U kunt bijdragen aan zowel engineeringdiscussies als gesprekken over bedrijfsanalyse.
  • U hebt een grondig begrip van datacontracten en de verantwoordelijkheid van producenten en afnemers.
  • U kunt complexe inkoopprocessen vertalen naar heldere datastructuren en transformatieregels.
  • U gaat zorgvuldig om met de interpretatie van schema’s, codelijsten, bedrijfsdefinities en validatievereisten.
  • U bent sterk in het faciliteren van gesprekken met stakeholders en het oplossen van conflicten.
  • U kunt hiaten en onduidelijkheden opsporen voordat ze tot engineeringfouten leiden.
  • U zet zich in voor documentatie, traceerbaarheid, governance en datakwaliteit.
  • U kunt effectief werken in een groot, multidisciplinair Databricks-team.

Voordelen

  • De vacature vermeldt geen secundaire arbeidsvoorwaarden, extra’s of aanvullende vergoeding.

Gerelateerde vacatures

Geen vacatures gevonden

Pas je filters aan of wis ze om meer mogelijkheden te vinden.