Coretek ist ein von Microsoft als Azure Expert Managed Service Provider ausgezeichneter Anbieter und eine Cloud-Technologieberatung, die Organisationen in den Bereichen öffentliche Verwaltung, Gesundheitswesen, Fertigung und Finanzdienstleistungen unterstützt. Das Leistungsspektrum umfasst Cloud-Migration, Anwendungsmodernisierung, DevOps-Automatisierung, Arbeitsplatzmanagement, Cybersicherheit sowie KI-Lösungen auf Basis von Azure OpenAI und Technologien des maschinellen Lernens. Darüber hinaus bietet Coretek Sicherheits- und Observability-Dienstleistungen mit Plattformen wie Palo Alto und Dynatrace an und arbeitet mit Partnern wie Imprivata und Citrix zusammen. Das interdisziplinäre Team unterstützt Kunden dabei, ihre Infrastruktur zu modernisieren, die Sicherheit zu stärken und praxisnahe Cloud- und KI-Kompetenzen aufzubauen.
Azure-Dateningenieur – Hybrid in Indien
Entwickle und betreibe zuverlässige Azure-Batch- und Streaming-Pipelines für Coretek. Entwickle kontrollierte Datenmodelle, Qualitätskontrollen und produktionsreife Workflows für Fach- und Technikteams.
Beschreibung
- Entwirf, entwickle und pflege idempotente, beobachtbare und wiederherstellbare Batch- und Streaming-Datenpipelines
- Erstelle analytische Datenmodelle, darunter Dimensionsschemas, semantische Schichten und kuratierte Data Marts
- Verbinde operative Datenbanken, SaaS-APIs, Dateien und Event-Streams und verwalte dabei Schemaänderungen und verspätet eintreffende Daten
- Integriere Prüfungen für Datenaktualität, Volumen, Eindeutigkeit und referenzielle Integrität in die Pipelines
- Etabliere Alarmierungs- und Eskalationsverfahren für Pipelineausfälle
- Verwalte Produktionspipelines durch Überwachung, Bereitschaftsdienst, Reaktion auf Vorfälle, Ursachenanalysen und Backfills
- Verbessere die Leistung und kontrolliere Kosten durch Partitionierung, Clustering, passende Dateigrößen sowie die Dimensionierung von Data Warehouses oder Clustern
- Nutze Versionskontrolle, Code-Reviews, CI/CD, automatisierte Tests und Infrastructure as Code
- Setze gemeinsam mit Sicherheits- und Compliance-Teams Zugriffskontrollen, Schutzmaßnahmen für personenbezogene Daten, Aufbewahrungsfristen, Datenherkunft und Audit-Anforderungen durch
- Arbeite mit Analysten, Data Scientists und Produktentwicklern zusammen, um dauerhafte Datenverträge zu etablieren
- Halte Datenwörterbücher, Datenherkunftsaufzeichnungen und Runbooks für Pipelines aktuell
Anforderungen
- Mindestens fünf Jahre Erfahrung in der Entwicklung von Datenpipelines für Produktionsumgebungen
- Umfangreiche praktische Python-Erfahrung im Data Engineering, einschließlich Tests, Paketierung und Code-Reviews
- Sichere praktische Kenntnisse der PySpark-DataFrame- und SQL-APIs, groß angelegter Joins und Aggregationen, Partitionierung, Shuffle-Verhaltens sowie der Diagnose mit der Spark UI
- Fortgeschrittene SQL-Kenntnisse, einschließlich Fensterfunktionen, Analyse von Abfrageplänen und Performance-Tuning
- Praktische Erfahrung mit Azure Data Factory, Databricks, Synapse oder Fabric sowie ADLS
- Fundierte Kenntnisse der Datenmodellierung, einschließlich Normalisierung, Sternschemas und langsam veränderlicher Dimensionen
- Erfahrung mit Git-basierten Entwicklungsprozessen und CI/CD-Bereitstellungen
- Ausgeprägte Kommunikationsfähigkeiten, einschließlich der Fähigkeit, Pipelineprobleme nicht-technischen Stakeholdern zu erklären
- Hervorragende analytische Fähigkeiten und Problemlösungskompetenz, einschließlich Ursachenanalysen
- Umfangreiche Erfahrung in der Arbeit mit Kunden in einem beratend geprägten technischen Umfeld
- Erfahrung mit Streaming-Daten und Kafka oder Event Hubs
- Erfahrung mit Delta Lake oder Iceberg
- Erfahrung mit Terraform oder Bicep für Infrastructure as Code sowie Docker oder Kubernetes für Containerisierung
- Erfahrung in regulierten Umgebungen mit HIPAA, SOC 2, PCI oder GDPR
- Erfahrung beim Aufbau von Machine-Learning-Datenplattformen oder bei der Unterstützung von Feature-Pipelines
- Fähigkeit, mehrere Kundenprojekte zu verwalten und termingerecht qualitativ hochwertige Arbeit zu liefern
- Erfahrung mit Azure DevOps oder GitHub für Quellcodeverwaltung und Bereitstellungspipelines