EXL
EXL
EXL ist ein Beratungs- und Dienstleistungsunternehmen, das Organisationen dabei unterstützt, Daten, Analysen und Technologie zu nutzen, um Abläufe zu verbessern und fundiertere Entscheidungen zu treffen. Das Leistungsspektrum umfasst Betriebsmanagement, entscheidungsorientierte Analysen und digitale Transformation. Dabei verfügt EXL über Erfahrung in der Unterstützung von Kunden aus dem Gesundheitswesen, dem Versicherungswesen, dem Finanzsektor und der Logistik. Das Unternehmen verbindet Data Science mit praxisnaher Geschäftsexpertise, um Lösungen zu entwickeln, die auf die Ziele, das Betriebsmodell und den Branchenkontext der jeweiligen Organisation zugeschnitten sind.

Databricks Tech Lead bei EXL – Chennai, hybrid

Leite das Databricks-Lakehouse-Engineering für Plattformen zur Bekämpfung von Finanzkriminalität. Entwickle Delta-Lake-Pipelines und verwalte Unity Catalog für Entwicklung, Test und Produktion.

Beschreibung

  • Erstelle und betreibe Databricks-Workspaces, Cluster und Compute-Pools für Entwicklung, Test und Produktion.
  • Richte Governance, Zugriffskontrollen, detaillierte Berechtigungen und Datenherkunft in Unity Catalog ein.
  • Optimiere Clustertypen, automatische Skalierung sowie Spot- oder unterbrechbare Knoten, um Kosten und Leistung auszubalancieren.
  • Lege Workspace-Strukturen und Zugriffskontrollen fest und verwalte Geheimnisse mit Databricks Secrets, Azure Key Vault oder AWS Secrets Manager.
  • Verwalte Databricks-Jobs, Workflows und die Orchestrierung mehrerer Aufgaben einschließlich ihrer Abhängigkeiten.
  • Entwirf Delta-Lake-Tabellen mit Partitionierung und Z-Ordering und verdichte Dateien mit OPTIMIZE und VACUUM.
  • Strukturiere Datenseen mit der Medallion-Architektur in die Ebenen Bronze, Silver und Gold.
  • Entwickle Delta-Live-Tables-Pipelines mit deklarativem ETL/ELT und integrierten Datenqualitätsanforderungen.
  • Verarbeite Schemaänderungen, Tabellenversionen, Time Travel und Change Data Feed für inkrementelle Verarbeitung.
  • Entwickle Lakehouse-Muster, die Delta Lake mit Kafka, ADLS, S3 und GCS verbinden.
  • Erstelle Databricks-Pipelines für Plattformen zur Bekämpfung von Finanzkriminalität, darunter AML, KYC, CRA, Sanktionsprüfung, Transaktionsüberwachung, Betrugserkennung und aufsichtsrechtliche Berichterstattung.

Anforderungen

  • Bachelor- oder Masterabschluss in Informatik, Informationstechnologie, Data Engineering oder einem verwandten Fachgebiet.
  • Mindestens 8 Jahre Erfahrung im Data Engineering oder Software Engineering.
  • Mindestens 3 Jahre praktische Databricks-Erfahrung im Produktivbetrieb.
  • Fundierte Kenntnisse in Big-Data-Engineering, Cloud-Datenplattformen und verteilter Datenverarbeitung.
  • Umfangreiche Erfahrung mit Databricks Workspaces, Clusters, Jobs, Workflows und Repos.
  • Sicherer Umgang mit Unity Catalog, einschließlich Metastore-Einrichtung, Verwaltung von Katalogen, Schemas und Tabellen, Zugriffskontrollen und Datenherkunft.
  • Praktische Erfahrung in der Entwicklung, Überwachung und Festlegung von Qualitätsanforderungen für Delta-Live-Tables-Pipelines.
  • Fundiertes Verständnis der internen Funktionsweise von Delta Lake, darunter Transaktionsprotokoll, ACID-Garantien, Dateiaufbau und Optimierungsverfahren.
  • Erfahrung mit Databricks SQL Warehouses, SQL Analytics und der Entwicklung von Dashboards.
  • Kenntnisse der Databricks-Photon-Engine, serverlosen Compute-Ressourcen und Kostenoptimierung.

Ähnliche Stellen

Neuron

Senior Frontend Engineer, Angular

Neuron

Verantworte die Frontend-Architektur und entwickle Angular-Erlebnisse für Web und Mobile auf Neurons KI-Plattform zur Service-Lösung. Gestalte wiederverwendbare UI-Komponenten und Integrationen, optimiere die Performance und begleite andere Engineers als Mentor.

Öffnen
Weekday

Senior Engineering Manager für Full-Stack-Java

Weekday
501 – 1.000 Mitarbeitende
E-CommerceEinzelhandelMode

Leiten Sie Engineering-Teams beim Aufbau skalierbarer Java- und Spring-Boot-Services sowie moderner Frontend-Anwendungen. Sie verantworten Architektur, Zuverlässigkeit, Mentoring und Umsetzung für einen Kunden aus der Softwareentwicklung.

Öffnen
Nokia

Senior Software Engineer für cloudnative Plattformen

Nokia

Entwickle Nokias cloudnative Netzwerkbeobachtungsplattform MantaRay NM mit verteilten Systemen, Kubernetes und CI/CD-Automatisierung weiter. Nutze KI-gestützte Entwicklungstools und Automatisierung, um die Softwareentwicklung zu verbessern.

Öffnen
Nokia

Senior Software Engineer für cloudnative Plattformen

Nokia

Entwickeln Sie Nokias MantaRay-Plattform für das Netzwerkmanagement von Telekommunikationsanbietern weiter. Gestalten Sie verteilte cloudnative Systeme, Kubernetes, CI/CD-Automatisierung und KI-gestützte Entwicklung.

Öffnen