EXL
EXL
EXL is een advies- en dienstverlenend bedrijf dat organisaties helpt data, analyses en technologie in te zetten om processen te verbeteren en betere beslissingen te nemen. De werkzaamheden omvatten operationeel management, beslissingsgerichte analyses en digitale transformatie. EXL heeft ervaring met het ondersteunen van klanten in de gezondheidszorg, verzekeringen, financiële dienstverlening en logistiek. Het bedrijf combineert datawetenschap met praktische bedrijfsexpertise om oplossingen te ontwikkelen die zijn afgestemd op de doelstellingen, het bedrijfsmodel en de context van de sector van elke organisatie.

Databricks Tech Lead bij EXL – Chennai, hybride werkplek

Geef leiding aan Databricks-lakehouse-engineering voor platforms tegen financiële criminaliteit. Bouw Delta Lake-pipelines en beheer Unity Catalog voor ontwikkeling, test en productie.

Beschrijving

  • Bouw en onderhoud Databricks-workspaces, clusters en compute-pools voor ontwikkeling, test en productie.
  • Stel governance, toegangsbeheer, gedetailleerde machtigingen en dataherkomst in Unity Catalog in.
  • Stem clustertypen, automatisch schalen en spot- of onderbreekbare nodes af om kosten en prestaties in balans te brengen.
  • Richt workspacestructuren en toegangsbeheer in en beheer geheimen met Databricks Secrets, Azure Key Vault of AWS Secrets Manager.
  • Beheer Databricks-jobs, workflows en de orkestratie van meerdere taken, inclusief afhankelijkheden.
  • Ontwerp Delta Lake-tabellen met partitionering en Z-ordering en comprimeer bestanden met OPTIMIZE en VACUUM.
  • Organiseer gestructureerde datameren in de lagen Bronze, Silver en Gold volgens de Medallion-architectuur.
  • Ontwikkel Delta Live Tables-pipelines met declaratieve ETL/ELT en ingebouwde verwachtingen voor datakwaliteit.
  • Verwerk schemaveranderingen, tabelversies, time travel en Change Data Feed voor incrementele verwerking.
  • Ontwikkel lakehousepatronen die Delta Lake verbinden met Kafka, ADLS, S3 en GCS.
  • Bouw Databricks-pipelines voor platforms tegen financiële criminaliteit, met toepassingen voor AML, KYC, CRA, sanctiescreening, transactiemonitoring, fraudedetectie en rapportage aan toezichthouders.

Vereisten

  • Bachelor- of masterdiploma in informatica, informatietechnologie, data-engineering of een verwant vakgebied.
  • Minimaal 8 jaar ervaring in data-engineering of software-engineering.
  • Minimaal 3 jaar praktijkervaring met Databricks in productieomgevingen.
  • Sterke basis in bigdata-engineering, cloudgegevensplatforms en gedistribueerde computing.
  • Ruime ervaring met Databricks Workspaces, Clusters, Jobs, Workflows en Repos.
  • Goede kennis van Unity Catalog, waaronder het instellen van metastores, het beheren van catalogi, schema's en tabellen, toegangsbeheer en dataherkomst.
  • Praktische ervaring met het ontwikkelen en monitoren van Delta Live Tables-pipelines en het vaststellen van verwachtingen daarvoor.
  • Grondige kennis van de werking van Delta Lake, waaronder het transactielogboek, ACID-garanties, bestandsindeling en optimalisatiemethoden.
  • Ervaring met Databricks SQL Warehouses, SQL Analytics en het ontwikkelen van dashboards.
  • Kennis van de Databricks Photon-engine, serverless compute en kostenoptimalisatie.

Gerelateerde vacatures

Neuron

Senior Frontend Engineer, Angular

Neuron

Neem de leiding over de frontendarchitectuur en bouw Angular-ervaringen voor web en mobiel op Neurons AI-platform voor serviceoplossingen. Werk aan herbruikbare UI-componenten en integraties, optimaliseer de prestaties en begeleid engineers als mentor.

Openen
Weekday

Senior engineeringmanager full-stack Java

Weekday
501 – 1.000 Medewerkers
DetailhandelE-commerceMode

Geef leiding aan engineeringteams die schaalbare Java- en Spring Boot-services en moderne frontendtoepassingen bouwen. Stuur architectuur, betrouwbaarheid, mentorschap en oplevering aan voor een klant in softwareontwikkeling.

Openen
Nokia

Senior software engineer cloudnative platforms

Nokia

Bouw mee aan Nokia’s cloudnative netwerkobservabilityplatform MantaRay NM met gedistribueerde systemen, Kubernetes en CI/CD-automatisering. Zet AI-ondersteunde ontwikkeltools en automatisering in om softwareontwikkeling te verbeteren.

Openen