Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services ist ein Technologieberatungs- und Dienstleistungsunternehmen, das Organisationen des öffentlichen und privaten Sektors dabei unterstützt, ihre IT-Umgebungen zu verwalten und zu verbessern. Das Leistungsspektrum umfasst Enterprise Performance Management, Architektur, Projektmanagement, Infrastruktur- und Anwendungsmanagement sowie Managed Services. Darüber hinaus arbeitet das Unternehmen mit AppDynamics, BigPanda, Datadog und AWS in den Bereichen Performance-Monitoring, Ereigniskorrelation und Automatisierung, Cloud-Monitoring und IT-Service-Management zusammen. Scicom bietet rund um die Uhr operativen Support für globale Infrastrukturen. Das Unternehmensprofil beschreibt ein Team mit Erfahrung in den Bereichen Enterprise, SaaS und B2B-Technologie. Aktuelle Stellenangebote enthalten weitere Informationen zu Positionen und Einstellungen.

Databricks-Dateningenieur: OCDS-Datenverträge

Bringen Sie Beschaffungsbeteiligte und Engineering-Teams zusammen, um Datenverträge für ein umfangreiches Databricks-Programm zu definieren. Entwickeln Sie OCDS-konforme Pipelines und Kontrollen für zuverlässige, standardisierte Vertragsdaten.

Beschreibung

  • Verbinden Sie Fachbereiche, Vertragswesen, Governance und Engineering in einer umfangreichen Databricks-Implementierung.
  • Leiten Sie Anforderungsworkshops mit Beteiligten aus Beschaffung, Programmmanagement, Analytics, Governance und Technik.
  • Erstellen und pflegen Sie Datenverträge, die den Datenaustausch zwischen Datenbereitstellern und Datennutzern festlegen.
  • Überführen Sie Geschäftsanforderungen in User Stories, Abnahmekriterien, Prozessabläufe, Zuordnungen, Schnittstellenspezifikationen und Engineering-Anforderungen.
  • Analysieren Sie Quellsysteme, erstellen Sie Datenprofile, bewerten Sie Lücken und ordnen Sie Quellfelder den Zielstrukturen zu.
  • Vergleichen Sie aktuelle Beschaffungsdaten mit den vom OCDS geforderten Strukturen.
  • Führen Sie Dateneigentümer, Datenbereitsteller, Datennutzer, Architektinnen und Architekten sowie Governance-Teams zu gemeinsamen Vereinbarungen.
  • Verfolgen Sie Anforderungen von der Datenmodellierung über Implementierung und Tests bis zur Abnahme.
  • Bewerten Sie, wie sich geplante Änderungen auf Datenprodukte, Berichte, Integrationen und analytische Anwendungsfälle auswirken.
  • Unterstützen Sie die Vorbereitung und Durchführung von Backlog-Reviews, Sprintplanungen, Demos, Tests und der Abnahme durch Beteiligte.
  • Wenden Sie OCDS auf Beschaffungs- und öffentliche Vertragsdaten an – von der Planung bis zur Implementierung.
  • Pflegen Sie Zuordnungen für OCDS-Releases, Datensätze, Pakete, Kennungen, Organisationen, Parteien, Positionen, Meilensteine, Dokumente, Transaktionen, Änderungen und zugehörige Elemente.
  • Nutzen Sie OCDS-Schemata, Codelisten, Validierungsregeln und Umsetzungshinweise.
  • Ermitteln Sie, wann OCDS-Erweiterungen erforderlich sind, und dokumentieren Sie die zugehörigen Annahmen, Regeln, Zuordnungen, Ausnahmen und Erweiterungen.
  • Erstellen Sie Vertragsdatensätze aus transaktionsbezogenen Releases und legen Sie fest, wie Änderungen, Aktualisierungen, Stornierungen, Korrekturen und historische Änderungen behandelt werden.
  • Prüfen Sie transformierte Daten anhand der OCDS-JSON-Schemata und beheben Sie fehlende, ungültige, widersprüchliche oder nicht konforme Beschaffungsdaten.
  • Ermöglichen Sie die Veröffentlichung, den Austausch, die Analyse oder die interne Nutzung standardisierter Vertragsdaten.
  • Entwickeln, testen und warten Sie Databricks-Pipelines mit Apache Spark, PySpark, Python und SQL.
  • Nehmen Sie strukturierte und teilweise strukturierte Beschaffungsdaten aus JSON, CSV, XML, Parquet, Datenbanken, APIs und Dateien auf und transformieren Sie diese.
  • Erstellen Sie Bronze-, Silver- und Gold-Schichten mit der Medallion-Architektur.
  • Entwickeln Sie normalisierte, dimensionale, analytische und OCDS-basierte Datenmodelle.
  • Nutzen Sie Delta Lake, um Schemata durchzusetzen und weiterzuentwickeln, Versionen zu verwalten, Audits zu unterstützen und Daten zuverlässig zu verarbeiten.
  • Entwickeln Sie wiederverwendbare Verfahren, um Beschaffungsquelldaten in OCDS-kompatible Ergebnisse umzuwandeln.
  • Implementieren Sie sowohl Batch- als auch inkrementelle Datenaufnahme.
  • Nutzen Sie geeignete Databricks-Werkzeuge wie Workflows, Notebooks, Jobs, Auto Loader, Delta Live Tables oder Lakeflow.
  • Erstellen Sie REST-API-Verbindungen für die Aufnahme von Quelldaten und die Bereitstellung nachgelagerter Daten.
  • Automatisieren Sie Prüfungen der Datenqualität, des Abgleichs, der Vollständigkeit und der Konformität.
  • Unterstützen Sie die Implementierung von Unity Catalog für Metadaten, Zuständigkeiten, Herkunftsnachweise, Zugriffskontrollen und Datensuche.
  • Optimieren Sie Spark-Jobs, SQL-Abfragen, Cluster, Partitionierung, Dateigrößen und Datenlayouts.
  • Beteiligen Sie sich an Code-Reviews, automatisierten Tests, CI/CD, Deployments, Monitoring und Produktionssupport.
  • Analysieren Sie Pipeline-Ausfälle, Datenabweichungen und Leistungsprobleme.
  • Legen Sie messbare Regeln für Datengenauigkeit, Vollständigkeit, Gültigkeit, Aktualität, Konsistenz und Eindeutigkeit fest.
  • Erstellen Sie Validierungskontrollen für OCDS-Felder, Kennungen, Datumsangaben, Beträge, Währungen, Organisationen, Klassifikationen und Vertragsbeziehungen.
  • Erstellen Sie Dashboards oder Berichte zur Einhaltung von Datenverträgen und zu Ergebnissen der Datenqualitätsprüfung.
  • Richten Sie Verfahren zur Erkennung und Verwaltung von Schemaänderungen ein.
  • Verfolgen Sie die Herkunft von Beschaffungsdaten durch Databricks-Transformationen bis zu nachgelagerten Produkten.
  • Arbeiten Sie mit Governance-Teams zusammen, um Eigentümerschaft, Datenverantwortliche, Klassifizierungen, Aufbewahrung und Zugriffsrichtlinien festzulegen.
  • Behandeln Sie sensible Beschaffungs- und Lieferantendaten gemäß den Sicherheits- und Datenschutzanforderungen.
  • Pflegen Sie Audit-Trails mit dokumentierten Regeln, versionierten Zuordnungen, Validierungsergebnissen und Änderungshistorien.

Anforderungen

  • Bachelorabschluss in Informatik, Informationssystemen, Datenanalyse, Business-Analyse, Ingenieurwesen, öffentlicher Verwaltung, Supply-Chain-Management oder einem verwandten Fachgebiet.
  • Mindestens fünf Jahre kombinierte Berufserfahrung in Data Engineering, Datenanalyse, Business-Analyse oder Datenintegration.
  • Praktische Erfahrung mit der Implementierung oder Anwendung des Open Contracting Data Standard (OCDS).
  • Erfahrung im Erstellen, Dokumentieren, Abstimmen oder Pflegen von Datenverträgen.
  • Erfahrung mit der Zuordnung von Beschaffungs- oder Vertragsdaten zu OCDS-Schemata.
  • Fundierte Kenntnisse von OCDS-Releases, Datensätzen, Schemata, Codelisten, Kennungen, Vertragsphasen und Validierungsmethoden.
  • Mindestens drei Jahre praktische Erfahrung mit Databricks.
  • Fundierte Kenntnisse in Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-Pipelines, Datenmodellierung, JSON und JSON Schema, REST-APIs, Datenqualitätsvalidierung und Quell-Ziel-Zuordnung.
  • Erfahrung darin, Anforderungen zu erheben und in umsetzbare Engineering-Spezifikationen zu überführen.
  • Klare Kommunikation mit technischen und nichttechnischen Ansprechpartnern.
  • Erfahrung mit User Stories, Abnahmekriterien, Geschäftsregeln, Datenwörterbüchern, Schnittstellenspezifikationen und Prozessdokumentation.
  • Ausgeprägte Fähigkeiten in Analyse, Fehlerbehebung, Moderation und Dokumentation.
  • Erfahrung mit der Arbeit in agilen Teams.
  • Von Vorteil: Hintergrund in öffentlicher Beschaffung, öffentlichen Aufträgen, Fördermitteln, Akquisition, Lieferanten- oder Finanzdaten.
  • Von Vorteil: Erfahrung mit der Erstellung von OCDS-Erweiterungen oder der Anpassung von OCDS an organisatorische Anforderungen.
  • Von Vorteil: Vertrautheit mit Beschaffungsklassifikationen, Organisationskennungen, Ausschreibungen, Zuschlägen, Änderungen, Meilensteinen, Transaktionen und der Vertragsumsetzung.
  • Von Vorteil: Zertifizierung als Databricks Certified Data Engineer Associate oder Professional.
  • Von Vorteil: Erfahrung mit Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, Cloud-Diensten, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON-Schema-Validatoren, automatisierten Datenqualitätsframeworks, Metadaten- oder Stammdatenmanagement, Datenherkunft, Referenzdaten-Governance, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins oder Terraform.
  • Von Vorteil: Erfahrung in großen Datenprogrammen auf Bundes-, Landes- oder Kommunalebene oder in regulierten Unternehmen.
  • Von Vorteil: Vertrautheit mit Anforderungen an die Beschaffung des Bundes, Vergabe, Berichterstattung, Transparenz oder offene Daten.
  • Sie können sich sowohl in technischen als auch in Business-Analyse-Diskussionen einbringen.
  • Sie verfügen über ein fundiertes Verständnis von Datenverträgen und der Verantwortung von Datenbereitstellern und Datennutzern.
  • Sie können komplexe Beschaffungsprozesse in klare Datenstrukturen und Transformationsregeln übersetzen.
  • Sie gehen sorgfältig mit der Auslegung von Schemata, Codelisten, Geschäftsdefinitionen und Validierungsanforderungen um.
  • Sie verfügen über ausgeprägte Fähigkeiten in Stakeholder-Moderation und Konfliktlösung.
  • Sie erkennen Lücken und Unklarheiten, bevor daraus Engineering-Fehler entstehen.
  • Sie legen Wert auf Dokumentation, Nachvollziehbarkeit, Governance und Datenqualität.
  • Sie können in einem großen, fachübergreifenden Databricks-Team effektiv arbeiten.

Zusatzleistungen

  • Die Stellenausschreibung nennt keine Zusatzleistungen, Vergünstigungen oder zusätzliche Vergütung.

Ähnliche Stellen

Keine Stellen gefunden

Passe deine Filter an oder lösche sie, um weitere Möglichkeiten zu finden.