Expleo Group est un partenaire mondial en ingénierie, technologie et conseil qui aide les organisations à transformer leurs opérations, à développer des produits complexes et à améliorer leurs processus de fabrication et de qualité. Ses activités couvrent le conseil, la défense et la logistique, avec des compétences en intelligence artificielle, en numérisation et en cybersécurité. Fondé en 1966, Expleo associe plus de cinq décennies d’expérience à une équipe de 18 000 experts présents dans 29 pays pour accompagner l’innovation et la performance opérationnelle.
Ingénieur données, PySpark et Databricks
Concevez des pipelines PySpark et SQL sur Databricks pour produire des jeux de données fiables et gouvernés. Collaborez avec des équipes d’analytique et d’apprentissage automatique à Chennai.
Description
- Développer des pipelines ETL et ELT avec PySpark et SQL pour traiter des données à grande échelle
- Créer et optimiser des workflows Databricks, notamment des notebooks, des jobs et des configurations de clusters
- Collaborer avec les équipes d’analytique et d’apprentissage automatique pour fournir des jeux de données propres et documentés
- Suivre les performances des pipelines, résoudre les défaillances et préserver la qualité et l’intégrité des données
- Mettre en place des bonnes pratiques de gouvernance des données et de la plateforme
- Contribuer aux revues de conception et aux décisions d’architecture
Exigences
- Justifier de 4 à 6 ans d’expérience pratique en ingénierie des données ou dans un domaine connexe
- Utiliser PySpark avec assurance pour le traitement distribué à grande échelle
- Maîtriser le SQL avancé, notamment l’optimisation des requêtes, les fonctions de fenêtre, les CTE et les jointures complexes
- Avoir une solide expérience de Databricks, de Delta Lake et des workflows ; Unity Catalog est apprécié
- Avoir une expérience des plateformes cloud AWS ou Azure
- Maîtriser les compétences fondamentales en PySpark, SQL, Databricks, AWS, Azure, Python et Git
- Une expérience des outils de streaming comme Apache Kafka ou Spark Streaming est un atout
- Une connaissance des pipelines d’apprentissage automatique et des workflows d’ingénierie des caractéristiques est un atout