
Scicom Infrastructure Services is een advies- en dienstverlenend technologiebedrijf dat organisaties in de publieke en private sector helpt hun IT-omgevingen te beheren en te verbeteren. De werkzaamheden omvatten enterprise performance management, architectuur, projectmanagement, infrastructuur- en applicatiebeheer en managed services. Daarnaast werkt het bedrijf samen met AppDynamics, BigPanda, Datadog en AWS op het gebied van prestatiemonitoring, gebeurteniscorrelatie en automatisering, cloudmonitoring en IT-servicemanagement. Scicom biedt 24 uur per dag operationele ondersteuning voor wereldwijde infrastructuur. Het bedrijfsprofiel beschrijft een team dat actief is op het gebied van enterprise-, SaaS- en B2B-technologie. Bekijk de actuele vacatures voor informatie over functies en werving.
Databricks-data-engineer voor OCDS-datacontracten
Breng inkoopstakeholders en engineeringteams samen om datacontracten voor een groot Databricks-programma vast te stellen. Bouw OCDS-conforme pipelines en controles voor betrouwbare, gestandaardiseerde contractgegevens.
Beschrijving
- Verbind bedrijfs-, contract-, governance- en engineeringteams bij een grootschalige Databricks-implementatie.
- Leid workshops over vereisten met stakeholders uit inkoop, programma’s, analytics, governance en techniek.
- Stel datacontracten op en onderhoud ze, zodat duidelijk is hoe producenten en afnemers gegevens uitwisselen.
- Vertaal bedrijfsbehoeften naar user stories, acceptatiecriteria, processtromen, mappings, interfacespecificaties en engineeringvereisten.
- Analyseer bronsystemen, profileer gegevens, beoordeel hiaten en map bronvelden op doelstructuren.
- Vergelijk de huidige inkoopgegevens met de structuren die OCDS vereist.
- Breng gegevenseigenaren, producenten, afnemers, architecten en governanceteams op één lijn.
- Volg vereisten tijdens datamodellering, implementatie, tests en acceptatie.
- Beoordeel hoe voorgestelde wijzigingen van invloed zijn op datap producten, rapporten, integraties en analytische gebruiksscenario’s.
- Help met de voorbereiding en uitvoering van backlogreviews, sprintplanning, demo’s, tests en acceptatie door stakeholders.
- Pas OCDS toe op inkoop- en overheidscontractgegevens, van planning tot implementatie.
- Onderhoud mappings voor OCDS-releases, records, pakketten, identificatiecodes, organisaties, partijen, items, mijlpalen, documenten, transacties, wijzigingen en gerelateerde elementen.
- Gebruik OCDS-schema’s, codelijsten, validatieregels en implementatierichtlijnen.
- Bepaal wanneer OCDS-uitbreidingen nodig zijn en documenteer de bijbehorende aannames, regels, mappings, uitzonderingen en uitbreidingen.
- Stel contractrecords samen uit transactionele releases en bepaal hoe wijzigingen, updates, annuleringen, correcties en historische aanpassingen worden verwerkt.
- Controleer getransformeerde gegevens aan de hand van OCDS JSON-schema’s en herstel ontbrekende, ongeldige, inconsistente of niet-conforme inkoopgegevens.
- Maak publicatie, uitwisseling, analyse of intern gebruik van gestandaardiseerde contractgegevens mogelijk.
- Bouw, test en onderhoud Databricks-pipelines met Apache Spark, PySpark, Python en SQL.
- Neem gestructureerde en semigestructureerde inkoopgegevens op uit JSON, CSV, XML, Parquet, databases, API’s en bestanden, en transformeer ze.
- Maak Bronze-, Silver- en Gold-lagen met de medallion-architectuur.
- Ontwikkel genormaliseerde, dimensionale, analytische en op OCDS gebaseerde datamodellen.
- Gebruik Delta Lake om schema’s af te dwingen en door te ontwikkelen, versies te beheren, audits te ondersteunen en gegevens betrouwbaar te verwerken.
- Ontwikkel herbruikbare methoden om brongegevens uit inkoop om te zetten in OCDS-compatibele uitvoer.
- Bouw zowel batchgewijze als incrementele gegevensinname.
- Gebruik geschikte Databricks-tools, waaronder Workflows, notebooks, jobs, Auto Loader, Delta Live Tables of Lakeflow.
- Bouw REST API-koppelingen voor broninname en gegevenslevering aan downstreamsystemen.
- Automatiseer controles op datakwaliteit, reconciliatie, volledigheid en conformiteit.
- Help Unity Catalog implementeren voor metadata, eigenaarschap, lineage, toegangsbeheer en gegevensdetectie.
- Verbeter Spark-jobs, SQL-query’s, clusters, partitionering, bestandsgroottes en data-indelingen.
- Draag bij aan codereviews, geautomatiseerde tests, CI/CD, deployments, monitoring en productieondersteuning.
- Onderzoek pipeline-uitval, verschillen in gegevens en prestatieproblemen.
- Stel meetbare regels vast voor gegevensnauwkeurigheid, volledigheid, geldigheid, actualiteit, consistentie en uniciteit.
- Maak validatiecontroles voor OCDS-velden, identificatiecodes, datums, bedragen, valuta’s, organisaties, classificaties en contractrelaties.
- Bouw dashboards of rapporten over de naleving van datacontracten en resultaten van datakwaliteitscontroles.
- Richt methoden in om schemaveranderingen te detecteren en te beheren.
- Traceer de herkomst van inkoopgegevens door Databricks-transformaties naar downstreamproducten.
- Werk met governanceteams aan het vaststellen van eigenaren, stewards, classificaties, bewaartermijnen en toegangsbeleid.
- Verwerk gevoelige inkoop- en leveranciersgegevens volgens beveiligings- en privacyvereisten.
- Onderhoud auditsporen met gedocumenteerde regels, versiebeheer voor mappings, validatieresultaten en wijzigingsgeschiedenis.
Vereisten
- Bachelordiploma in informatica, informatiesystemen, data-analyse, bedrijfsanalyse, techniek, openbaar bestuur, supplychainmanagement of een verwante richting.
- Minimaal vijf jaar gecombineerde ervaring in data-engineering, data-analyse, bedrijfsanalyse of data-integratie.
- Praktische ervaring met de implementatie of het gebruik van de Open Contracting Data Standard (OCDS).
- Ervaring met het opstellen, documenteren, afstemmen of onderhouden van datacontracten.
- Ervaring met het mappen van inkoop- of contractgegevens op OCDS-schema’s.
- Grondige kennis van OCDS-releases, records, schema’s, codelijsten, identificatiecodes, contractfasen en validatiemethoden.
- Minimaal drie jaar praktische ervaring met Databricks.
- Sterke vaardigheden in Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-pipelines, datamodellering, JSON en JSON Schema, REST API’s, datakwaliteitsvalidatie en bron-doelmapping.
- Ervaring met het ophalen van vereisten en vertalen ervan naar bruikbare engineeringspecificaties.
- Heldere communicatie met zowel technische als niet-technische partners.
- Ervaring met het opstellen van user stories, acceptatiecriteria, bedrijfsregels, datawoordenboeken, interfacespecificaties en procesdocumentatie.
- Sterke vaardigheden op het gebied van analyse, probleemoplossing, faciliteren en documenteren.
- Ervaring met werken in agile teams.
- Pré: achtergrond in overheidsinkoop, overheidscontracten, subsidies, aanbestedingen, leveranciers- of financiële gegevens.
- Pré: ervaring met het bouwen van OCDS-uitbreidingen of het aanpassen van OCDS aan organisatorische behoeften.
- Pré: bekendheid met inkoopclassificaties, organisatie-identificatiecodes, aanbestedingen, gunningen, wijzigingen, mijlpalen, transacties en contractuitvoering.
- Pré: certificering Databricks Certified Data Engineer Associate of Professional.
- Pré: ervaring met Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, clouddiensten, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validators, geautomatiseerde datakwaliteitsframeworks, metadata- of masterdatabeheer, lineage, beheer van referentiegegevens, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins of Terraform.
- Pré: ervaring met bijdragen aan grote data programma’s van de federale, regionale of lokale overheid, of van gereguleerde ondernemingen.
- Pré: bekendheid met vereisten voor federale verwerving, inkoop, rapportage, transparantie of open data.
- U kunt bijdragen aan zowel engineeringdiscussies als gesprekken over bedrijfsanalyse.
- U hebt een grondig begrip van datacontracten en de verantwoordelijkheid van producenten en afnemers.
- U kunt complexe inkoopprocessen vertalen naar heldere datastructuren en transformatieregels.
- U gaat zorgvuldig om met de interpretatie van schema’s, codelijsten, bedrijfsdefinities en validatievereisten.
- U bent sterk in het faciliteren van gesprekken met stakeholders en het oplossen van conflicten.
- U kunt hiaten en onduidelijkheden opsporen voordat ze tot engineeringfouten leiden.
- U zet zich in voor documentatie, traceerbaarheid, governance en datakwaliteit.
- U kunt effectief werken in een groot, multidisciplinair Databricks-team.
Voordelen
- De vacature vermeldt geen secundaire arbeidsvoorwaarden, extra’s of aanvullende vergoeding.
Gerelateerde vacatures
Geen vacatures gevonden
Pas je filters aan of wis ze om meer mogelijkheden te vinden.