
Scicom Infrastructure Services ist ein Technologieberatungs- und Dienstleistungsunternehmen, das Organisationen des öffentlichen und privaten Sektors dabei unterstützt, ihre IT-Umgebungen zu verwalten und zu verbessern. Das Leistungsspektrum umfasst Enterprise Performance Management, Architektur, Projektmanagement, Infrastruktur- und Anwendungsmanagement sowie Managed Services. Darüber hinaus arbeitet das Unternehmen mit AppDynamics, BigPanda, Datadog und AWS in den Bereichen Performance-Monitoring, Ereigniskorrelation und Automatisierung, Cloud-Monitoring und IT-Service-Management zusammen. Scicom bietet rund um die Uhr operativen Support für globale Infrastrukturen. Das Unternehmensprofil beschreibt ein Team mit Erfahrung in den Bereichen Enterprise, SaaS und B2B-Technologie. Aktuelle Stellenangebote enthalten weitere Informationen zu Positionen und Einstellungen.
Databricks-Dateningenieur: OCDS-Datenverträge
Bringen Sie Beschaffungsbeteiligte und Engineering-Teams zusammen, um Datenverträge für ein umfangreiches Databricks-Programm zu definieren. Entwickeln Sie OCDS-konforme Pipelines und Kontrollen für zuverlässige, standardisierte Vertragsdaten.
Beschreibung
- Verbinden Sie Fachbereiche, Vertragswesen, Governance und Engineering in einer umfangreichen Databricks-Implementierung.
- Leiten Sie Anforderungsworkshops mit Beteiligten aus Beschaffung, Programmmanagement, Analytics, Governance und Technik.
- Erstellen und pflegen Sie Datenverträge, die den Datenaustausch zwischen Datenbereitstellern und Datennutzern festlegen.
- Überführen Sie Geschäftsanforderungen in User Stories, Abnahmekriterien, Prozessabläufe, Zuordnungen, Schnittstellenspezifikationen und Engineering-Anforderungen.
- Analysieren Sie Quellsysteme, erstellen Sie Datenprofile, bewerten Sie Lücken und ordnen Sie Quellfelder den Zielstrukturen zu.
- Vergleichen Sie aktuelle Beschaffungsdaten mit den vom OCDS geforderten Strukturen.
- Führen Sie Dateneigentümer, Datenbereitsteller, Datennutzer, Architektinnen und Architekten sowie Governance-Teams zu gemeinsamen Vereinbarungen.
- Verfolgen Sie Anforderungen von der Datenmodellierung über Implementierung und Tests bis zur Abnahme.
- Bewerten Sie, wie sich geplante Änderungen auf Datenprodukte, Berichte, Integrationen und analytische Anwendungsfälle auswirken.
- Unterstützen Sie die Vorbereitung und Durchführung von Backlog-Reviews, Sprintplanungen, Demos, Tests und der Abnahme durch Beteiligte.
- Wenden Sie OCDS auf Beschaffungs- und öffentliche Vertragsdaten an – von der Planung bis zur Implementierung.
- Pflegen Sie Zuordnungen für OCDS-Releases, Datensätze, Pakete, Kennungen, Organisationen, Parteien, Positionen, Meilensteine, Dokumente, Transaktionen, Änderungen und zugehörige Elemente.
- Nutzen Sie OCDS-Schemata, Codelisten, Validierungsregeln und Umsetzungshinweise.
- Ermitteln Sie, wann OCDS-Erweiterungen erforderlich sind, und dokumentieren Sie die zugehörigen Annahmen, Regeln, Zuordnungen, Ausnahmen und Erweiterungen.
- Erstellen Sie Vertragsdatensätze aus transaktionsbezogenen Releases und legen Sie fest, wie Änderungen, Aktualisierungen, Stornierungen, Korrekturen und historische Änderungen behandelt werden.
- Prüfen Sie transformierte Daten anhand der OCDS-JSON-Schemata und beheben Sie fehlende, ungültige, widersprüchliche oder nicht konforme Beschaffungsdaten.
- Ermöglichen Sie die Veröffentlichung, den Austausch, die Analyse oder die interne Nutzung standardisierter Vertragsdaten.
- Entwickeln, testen und warten Sie Databricks-Pipelines mit Apache Spark, PySpark, Python und SQL.
- Nehmen Sie strukturierte und teilweise strukturierte Beschaffungsdaten aus JSON, CSV, XML, Parquet, Datenbanken, APIs und Dateien auf und transformieren Sie diese.
- Erstellen Sie Bronze-, Silver- und Gold-Schichten mit der Medallion-Architektur.
- Entwickeln Sie normalisierte, dimensionale, analytische und OCDS-basierte Datenmodelle.
- Nutzen Sie Delta Lake, um Schemata durchzusetzen und weiterzuentwickeln, Versionen zu verwalten, Audits zu unterstützen und Daten zuverlässig zu verarbeiten.
- Entwickeln Sie wiederverwendbare Verfahren, um Beschaffungsquelldaten in OCDS-kompatible Ergebnisse umzuwandeln.
- Implementieren Sie sowohl Batch- als auch inkrementelle Datenaufnahme.
- Nutzen Sie geeignete Databricks-Werkzeuge wie Workflows, Notebooks, Jobs, Auto Loader, Delta Live Tables oder Lakeflow.
- Erstellen Sie REST-API-Verbindungen für die Aufnahme von Quelldaten und die Bereitstellung nachgelagerter Daten.
- Automatisieren Sie Prüfungen der Datenqualität, des Abgleichs, der Vollständigkeit und der Konformität.
- Unterstützen Sie die Implementierung von Unity Catalog für Metadaten, Zuständigkeiten, Herkunftsnachweise, Zugriffskontrollen und Datensuche.
- Optimieren Sie Spark-Jobs, SQL-Abfragen, Cluster, Partitionierung, Dateigrößen und Datenlayouts.
- Beteiligen Sie sich an Code-Reviews, automatisierten Tests, CI/CD, Deployments, Monitoring und Produktionssupport.
- Analysieren Sie Pipeline-Ausfälle, Datenabweichungen und Leistungsprobleme.
- Legen Sie messbare Regeln für Datengenauigkeit, Vollständigkeit, Gültigkeit, Aktualität, Konsistenz und Eindeutigkeit fest.
- Erstellen Sie Validierungskontrollen für OCDS-Felder, Kennungen, Datumsangaben, Beträge, Währungen, Organisationen, Klassifikationen und Vertragsbeziehungen.
- Erstellen Sie Dashboards oder Berichte zur Einhaltung von Datenverträgen und zu Ergebnissen der Datenqualitätsprüfung.
- Richten Sie Verfahren zur Erkennung und Verwaltung von Schemaänderungen ein.
- Verfolgen Sie die Herkunft von Beschaffungsdaten durch Databricks-Transformationen bis zu nachgelagerten Produkten.
- Arbeiten Sie mit Governance-Teams zusammen, um Eigentümerschaft, Datenverantwortliche, Klassifizierungen, Aufbewahrung und Zugriffsrichtlinien festzulegen.
- Behandeln Sie sensible Beschaffungs- und Lieferantendaten gemäß den Sicherheits- und Datenschutzanforderungen.
- Pflegen Sie Audit-Trails mit dokumentierten Regeln, versionierten Zuordnungen, Validierungsergebnissen und Änderungshistorien.
Anforderungen
- Bachelorabschluss in Informatik, Informationssystemen, Datenanalyse, Business-Analyse, Ingenieurwesen, öffentlicher Verwaltung, Supply-Chain-Management oder einem verwandten Fachgebiet.
- Mindestens fünf Jahre kombinierte Berufserfahrung in Data Engineering, Datenanalyse, Business-Analyse oder Datenintegration.
- Praktische Erfahrung mit der Implementierung oder Anwendung des Open Contracting Data Standard (OCDS).
- Erfahrung im Erstellen, Dokumentieren, Abstimmen oder Pflegen von Datenverträgen.
- Erfahrung mit der Zuordnung von Beschaffungs- oder Vertragsdaten zu OCDS-Schemata.
- Fundierte Kenntnisse von OCDS-Releases, Datensätzen, Schemata, Codelisten, Kennungen, Vertragsphasen und Validierungsmethoden.
- Mindestens drei Jahre praktische Erfahrung mit Databricks.
- Fundierte Kenntnisse in Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-Pipelines, Datenmodellierung, JSON und JSON Schema, REST-APIs, Datenqualitätsvalidierung und Quell-Ziel-Zuordnung.
- Erfahrung darin, Anforderungen zu erheben und in umsetzbare Engineering-Spezifikationen zu überführen.
- Klare Kommunikation mit technischen und nichttechnischen Ansprechpartnern.
- Erfahrung mit User Stories, Abnahmekriterien, Geschäftsregeln, Datenwörterbüchern, Schnittstellenspezifikationen und Prozessdokumentation.
- Ausgeprägte Fähigkeiten in Analyse, Fehlerbehebung, Moderation und Dokumentation.
- Erfahrung mit der Arbeit in agilen Teams.
- Von Vorteil: Hintergrund in öffentlicher Beschaffung, öffentlichen Aufträgen, Fördermitteln, Akquisition, Lieferanten- oder Finanzdaten.
- Von Vorteil: Erfahrung mit der Erstellung von OCDS-Erweiterungen oder der Anpassung von OCDS an organisatorische Anforderungen.
- Von Vorteil: Vertrautheit mit Beschaffungsklassifikationen, Organisationskennungen, Ausschreibungen, Zuschlägen, Änderungen, Meilensteinen, Transaktionen und der Vertragsumsetzung.
- Von Vorteil: Zertifizierung als Databricks Certified Data Engineer Associate oder Professional.
- Von Vorteil: Erfahrung mit Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, Cloud-Diensten, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON-Schema-Validatoren, automatisierten Datenqualitätsframeworks, Metadaten- oder Stammdatenmanagement, Datenherkunft, Referenzdaten-Governance, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins oder Terraform.
- Von Vorteil: Erfahrung in großen Datenprogrammen auf Bundes-, Landes- oder Kommunalebene oder in regulierten Unternehmen.
- Von Vorteil: Vertrautheit mit Anforderungen an die Beschaffung des Bundes, Vergabe, Berichterstattung, Transparenz oder offene Daten.
- Sie können sich sowohl in technischen als auch in Business-Analyse-Diskussionen einbringen.
- Sie verfügen über ein fundiertes Verständnis von Datenverträgen und der Verantwortung von Datenbereitstellern und Datennutzern.
- Sie können komplexe Beschaffungsprozesse in klare Datenstrukturen und Transformationsregeln übersetzen.
- Sie gehen sorgfältig mit der Auslegung von Schemata, Codelisten, Geschäftsdefinitionen und Validierungsanforderungen um.
- Sie verfügen über ausgeprägte Fähigkeiten in Stakeholder-Moderation und Konfliktlösung.
- Sie erkennen Lücken und Unklarheiten, bevor daraus Engineering-Fehler entstehen.
- Sie legen Wert auf Dokumentation, Nachvollziehbarkeit, Governance und Datenqualität.
- Sie können in einem großen, fachübergreifenden Databricks-Team effektiv arbeiten.
Zusatzleistungen
- Die Stellenausschreibung nennt keine Zusatzleistungen, Vergünstigungen oder zusätzliche Vergütung.
Ähnliche Stellen
Keine Stellen gefunden
Passe deine Filter an oder lösche sie, um weitere Möglichkeiten zu finden.