EXL
EXL
EXL est une entreprise de conseil et de services aux entreprises qui aide les organisations à exploiter les données, l’analyse et la technologie pour améliorer leurs opérations et prendre de meilleures décisions. Ses activités comprennent la gestion des opérations, l’analyse décisionnelle et la transformation numérique, avec une expérience dans les secteurs de la santé, de l’assurance, de la finance et de la logistique. EXL associe la science des données à une expertise concrète des entreprises afin de développer des solutions adaptées aux objectifs, au modèle opérationnel et au contexte sectoriel de chaque organisation.

Responsable technique Databricks chez EXL — Chennai, hybride

Pilotez l’ingénierie lakehouse Databricks pour des plateformes de lutte contre la criminalité financière. Développez des pipelines Delta Lake et gérez Unity Catalog dans les environnements de développement, de test et de production.

Description

  • Créer et maintenir des espaces de travail, des clusters et des pools de calcul Databricks dans les environnements de développement, de test et de production.
  • Mettre en place la gouvernance Unity Catalog, les contrôles d’accès, les autorisations détaillées et la traçabilité des données.
  • Ajuster les types de clusters, la mise à l’échelle automatique et les nœuds spot ou préemptibles afin d’équilibrer coûts et performances.
  • Définir les structures des espaces de travail, les contrôles d’accès et la gestion des secrets à l’aide de Databricks Secrets, Azure Key Vault ou AWS Secrets Manager.
  • Gérer les tâches, les workflows et l’orchestration de plusieurs tâches Databricks, y compris leurs dépendances.
  • Concevoir des tables Delta Lake avec partitionnement et tri Z, puis compacter les fichiers avec OPTIMIZE et VACUUM.
  • Organiser les lacs de données structurés en couches Bronze, Silver et Gold selon l’architecture Medallion.
  • Développer des pipelines Delta Live Tables avec ETL/ELT déclaratif et règles intégrées de qualité des données.
  • Gérer les changements de schéma, les versions de tables, le voyage dans le temps et Change Data Feed pour le traitement incrémentiel.
  • Créer des modèles lakehouse reliant Delta Lake à Kafka, ADLS, S3 et GCS.
  • Créer des pipelines Databricks pour des plateformes de lutte contre la criminalité financière couvrant AML, KYC, CRA, le filtrage des sanctions, la surveillance des transactions, la détection des fraudes et les rapports réglementaires.

Exigences

  • Diplôme de licence ou de master en informatique, technologies de l’information, ingénierie des données ou discipline connexe.
  • Au moins 8 ans d’expérience en ingénierie des données ou en ingénierie logicielle.
  • Au moins 3 ans d’expérience pratique de Databricks en production.
  • Solides bases en ingénierie des mégadonnées, plateformes de données cloud et informatique distribuée.
  • Expérience approfondie de Databricks Workspaces, Clusters, Jobs, Workflows et Repos.
  • Maîtrise d’Unity Catalog, notamment la configuration du metastore, la gestion des catalogues, schémas et tables, les contrôles d’accès et la traçabilité des données.
  • Expérience pratique du développement et du suivi de pipelines Delta Live Tables ainsi que de la définition de leurs règles.
  • Bonne compréhension du fonctionnement interne de Delta Lake, notamment son journal des transactions, les garanties ACID, l’organisation des fichiers et les méthodes d’optimisation.
  • Expérience de Databricks SQL Warehouses, SQL Analytics et du développement de tableaux de bord.
  • Connaissance du moteur Databricks Photon, du calcul sans serveur et de l’optimisation des coûts.

Offres similaires

Neuron

Ingénieur frontend senior, Angular

Neuron

Pilotez l’architecture frontend et créez des expériences Angular pour le web et le mobile sur la plateforme de résolution de services par IA de Neuron. Prenez en charge les composants d’interface réutilisables, les intégrations, les performances et le mentorat des ingénieurs.

Ouvrir
Weekday

Responsable senior de l’ingénierie Java full stack

Weekday

Dirigez des équipes d’ingénierie qui développent des services évolutifs avec Java et Spring Boot ainsi que des applications frontend modernes. Orientez l’architecture, la fiabilité, le mentorat et la livraison pour un client spécialisé dans le développement logiciel.

Ouvrir
Citi

Développeur de microservices Spring Boot – Pune, hybride

Citi

Développer et assurer le support des applications de services financiers de Citi conçues avec des microservices Spring Boot. Le poste comprend l’amélioration de la sécurité des applications, le débogage des systèmes et le conseil aux parties prenantes des technologies.

Ouvrir
Nokia

Ingénieur logiciel senior, plateformes cloud natives

Nokia

Concevez la plateforme d’observabilité réseau cloud native MantaRay NM de Nokia, en travaillant sur les systèmes distribués, Kubernetes et l’automatisation CI/CD. Utilisez des outils d’ingénierie assistée par l’IA et l’automatisation pour améliorer le développement logiciel.

Ouvrir
Nokia

Ingénieur logiciel senior, plateformes cloud natives

Nokia

Concevez la plateforme de gestion de réseau MantaRay de Nokia pour les fournisseurs de télécommunications. Pilotez des systèmes distribués cloud natifs, Kubernetes, l’automatisation CI/CD et l’ingénierie assistée par l’IA.

Ouvrir