Walmart est une entreprise mondiale de commerce de détail et de commerce électronique qui sert les consommateurs par l’intermédiaire d’hypermarchés, de grands magasins à prix réduits, de magasins d’alimentation et d’une marketplace en ligne. Sa vaste offre de produits repose sur un important réseau de magasins physiques, des activités de vente directe aux consommateurs et les systèmes logistiques et de chaîne d’approvisionnement nécessaires pour faire circuler les produits dans l’ensemble de l’entreprise.
Ingénieur(e) senior en données - Bangalore, Inde (sur site)
Concevez des pipelines évolutifs par lots et en streaming ainsi que des produits de données GenAI pour les opérations d’audit post-paiement de Walmart. Améliorez la précision des paiements, le rapprochement, les processus de récupération et les analyses financières.
Description
- Concevoir et maintenir des pipelines évolutifs par lots, en streaming et quasi temps réel pour l’audit post-paiement, l’intégrité des paiements, le rapprochement des fournisseurs, les opérations de récupération et les analyses financières.
- Développer des jeux de données préparés, des modèles sémantiques, des tables prêtes pour les fonctionnalités et des produits de données réutilisables à partir de systèmes de facturation, de commandes d’achat, de réception, de fournisseurs, de réclamations, de tarification et de paiement.
- Créer des flux de travail ELT, ETL et de streaming avec SQL, Python, PySpark, Apache Flink, dbt, des outils d’orchestration, des plateformes de streaming d’événements et des technologies de données cloud.
- Développer des pipelines de streaming et de capture des données modifiées avec traitement fondé sur le temps d’événement, gestion des données tardives, rejouabilité, idempotence, réexécutions et récupération après défaillance.
- Concevoir et exploiter des produits de données lakehouse avec Apache Hudi, Apache Iceberg ou Delta Lake.
- Mettre en place des contrôles de qualité des données, des contrôles de rapprochement, la validation des schémas, la traçabilité, la supervision, les alertes et des pratiques d’observabilité.
- Collaborer avec les équipes Finance, Audit, Opérations, Produit, Data Science et Ingénierie afin de fournir des solutions de données prêtes pour la production.
- Permettre la détection des anomalies, la priorisation des exceptions, les règles d’audit, la notation par apprentissage automatique et les flux de travail GenAI.
- Créer des automatisations et des services de données qui aident les équipes d’audit à résumer les éléments probants, trier les exceptions, fournir du contexte pour les investigations et réduire les contrôles manuels.
- Mettre en œuvre des modèles d’ingénierie des données GenAI tels que des magasins de documents prêts pour la recherche, des pipelines d’embeddings, des intégrations de bases de données vectorielles, l’enrichissement des métadonnées et la recherche de connaissances gouvernée.
- Améliorer les charges de travail par lots et en streaming en matière de fiabilité, d’actualité, de latence, de gestion des états, d’efficacité de calcul et d’utilisabilité en aval.
- Analyser les écarts de données, les défaillances de pipelines, les divergences de rapprochement et les problèmes des systèmes sources au moyen d’analyses des causes profondes.
Exigences
- Diplôme de licence en informatique, ingénierie, technologies de l’information, ingénierie des données, analytique, mathématiques, statistiques ou discipline connexe, ainsi que plus de 6 ans d’expérience pertinente ; à défaut, un master avec plus de 4 ans ou un doctorat avec plus de 3 ans d’expérience pertinente.
- Expérience pratique avérée de SQL, Python, PySpark, Apache Flink ou d’un framework comparable de traitement des flux, ainsi que du traitement distribué de données à grande échelle.
- Expérience de dbt ou d’un framework de transformation comparable, d’Airflow ou d’outils d’orchestration similaires, de Kafka ou d’une plateforme équivalente de streaming d’événements, et de technologies de données cloud ou d’entreprise telles que BigQuery, Hive ou Spark.
- Expérience confirmée dans la conception, le déploiement et le support de pipelines de production par lots et en streaming, de flux de travail ELT/ETL, de modèles de données et de produits de données réutilisables.
- Solides connaissances en modélisation des données, partitionnement, optimisation des performances, traitement incrémental, CDC, évolution des schémas, contrats de données, gestion des métadonnées, traçabilité et formats lakehouse, notamment Apache Hudi, Apache Iceberg ou Delta Lake.
- Expérience de la mise en œuvre de contrôles de qualité des données, de logiques de rapprochement, de frameworks de validation, de l’observabilité, de la supervision, des alertes et de la résolution d’incidents pour des pipelines de production.
- Expérience dans le développement de solutions de streaming avec traitement fondé sur le temps d’événement, transformations avec état, points de contrôle, filigranes, traitement exactement une fois ou effectivement une fois, et stratégies de rejeu ou de réexécution.
- Expérience de la gestion de grands jeux de données structurés et semi-structurés provenant de plusieurs systèmes sources, y compris des données opérationnelles aux définitions métier incohérentes.
- Excellentes aptitudes à la collaboration et capacité à travailler avec les équipes Finance, Audit, Opérations, Produit, Data Science et Ingénierie.
- Les alternatives de qualification minimale comprennent une licence en informatique avec 3 ans d’expérience en ingénierie logicielle ou dans un domaine connexe ; 5 ans d’expérience en ingénierie logicielle ou dans un domaine connexe ; ou un master en informatique avec 1 an d’expérience en ingénierie logicielle ou dans un domaine connexe.
- Au moins 2 ans d’expérience en ingénierie des données, ingénierie des bases de données, veille stratégique ou analytique métier.
Avantages
- Primes incitatives fondées sur la performance.
- Congé de maternité et congé parental.
- Congés payés.
- Avantages liés à la santé.