Visa
Visa
Visa est une entreprise mondiale de technologie des paiements qui sert les consommateurs, les commerçants, les institutions financières et les gouvernements grâce à son réseau de paiements électroniques. Sa plateforme prend en charge les transactions par carte de crédit, de débit et prépayée, ainsi que le traitement des paiements, la prévention de la fraude, la sécurité, l’analyse et d’autres services destinés aux consommateurs et aux entreprises. Visa développe également des solutions de paiement émergentes, notamment des initiatives de commerce utilisant l’intelligence artificielle, et contribue à l’inclusion financière par l’intermédiaire de la Visa Foundation.

Ingénieur data senior, lac de données (télétravail au Brésil)

Concevez et maintenez des pipelines Spark, Databricks et Airflow pour le lac de données d’entreprise de Visa. Améliorez la qualité des données, l’orchestration et l’accès en libre-service fiable aux données.

Description

  • Développer, tester et maintenir des pipelines d’ingestion, de transformation et de qualité des données dans Databricks avec PySpark et SparkSQL.
  • Créer et mettre à jour des DAG Airflow dans MWAA pour orchestrer les flux de données.
  • Écrire et optimiser du SQL pour les tâches de transformation et de validation.
  • Mettre en œuvre et superviser des contrôles de qualité des données avec Great Expectations ou un outil équivalent.
  • Contribuer aux revues de code entre pairs.
  • Résoudre les défaillances des pipelines et les problèmes de qualité des données avec l’aide d’ingénieurs seniors.
  • Créer et mettre à jour la documentation des jeux de données et des pipelines.
  • Participer à la planification des sprints, aux estimations et aux rétrospectives.
  • Appliquer les normes de CI/CD, de tests et de gouvernance de l’équipe.
  • Contribuer à renforcer la fiabilité et la qualité du lac de données d’entreprise de Visa.

Exigences

  • Être basé au Brésil.
  • Communiquer en anglais avec un niveau B2 ou supérieur (intermédiaire avancé).
  • Avoir au moins 3 ans d’expérience pertinente avec une licence ou un diplôme de niveau bac+2, ou au moins 5 ans d’expérience pertinente.
  • Utiliser Python pour l’automatisation et le traitement des données.
  • Comprendre les pipelines de données par lots et les modèles ETL/ELT.
  • Connaître les fondamentaux d’Apache Spark, notamment PySpark ou SparkSQL.
  • Travailler avec les jobs et workflows Databricks, la gestion des clusters et l’optimisation des performances.
  • Utiliser SQL à un niveau intermédiaire à avancé, notamment les jointures, les fonctions de fenêtre et les CTE.
  • Comprendre la conception des lacs de données Amazon S3, notamment le partitionnement, l’organisation et la gestion du cycle de vie.
  • Connaître les concepts fondamentaux d’AWS, notamment S3, IAM et CloudWatch.
  • Comprendre la modélisation dimensionnelle ou Kimball et les architectures en couches medallion.
  • Utiliser les workflows Git/GitHub et participer aux revues de code.
  • Expérience souhaitée avec Delta Lake, Apache Airflow/MWAA, les modèles CDC, les concepts de qualité des données, les fondamentaux de Terraform ou l’intégration BI, comme Superset et la création de tableaux de bord.

Avantages

  • Organisation du travail à distance.
  • Possibilité d’avoir un impact à grande échelle.
  • Développement professionnel et acquisition de compétences grâce à des missions porteuses de sens.
  • Les employés en télétravail peuvent bénéficier d’occasions planifiées et annoncées à l’avance de travailler depuis un bureau Visa.

Offres similaires

Liventus, Inc.

Architecte solutions senior

Liventus, Inc.

Concevez et déployez des applications d’entreprise avec les technologies Microsoft et Angular chez Liventus, en pilotant l’architecture, les équipes de développement, la communication client, les déploiements et la documentation technique.

Ouvrir
FXCollaborative

Architecte senior en zonage et conception préliminaire

FXCollaborative
51 – 200 Employés
ConstructionImmobilier

Réaliser des études de faisabilité, des analyses de zonage et des dossiers de modification du zonage pour des projets mixtes à New York. Créer des concepts de conception et coordonner la conformité réglementaire avec les consultants et les spécialistes de l’aménagement du territoire.

Ouvrir
S3 Shared Service Solutions, LLC

Analyste en intelligence d’affaires

S3 Shared Service Solutions, LLC
501 – 1 000 Employés
B2BFinanceServices bancaires

Créez des tableaux de bord, des modèles de données et des analyses pour S3 Shared Service Solutions, une organisation de services aux coopératives de crédit. Aidez les équipes à prendre des décisions éclairées et à améliorer l’expérience des membres et des employés.

Ouvrir
Specialized Bicycle Components

Responsable du développement de la marque, Québec et Maritimes

Specialized Bicycle Components

Développez le réseau de détaillants et la part de marché de Specialized Bicycle Components au Québec et dans les Maritimes. Gérez les relations avec les détaillants, le marchandisage, la formation, les promotions et le développement des canaux.

Ouvrir
Protiviti

Architecte de solutions Databricks, directeur associé

Protiviti

Directeur associé en conseil technologique, il conçoit et déploie des plateformes de données Databricks pour les clients de Protiviti. Il dirige les missions clients, les équipes, les relations et le développement commercial.

Ouvrir