Visa
Visa
Visa is een wereldwijd technologiebedrijf voor betalingsverkeer. Via zijn elektronische betalingsnetwerk bedient Visa consumenten, handelaren, financiële instellingen en overheden. Het platform ondersteunt creditcard-, debitcard- en prepaidtransacties, evenals betalingsverwerking, fraudepreventie, beveiliging, analyses en andere diensten voor consumenten en bedrijven. Daarnaast ontwikkelt Visa innovatieve betalingsoplossingen, waaronder initiatieven voor door AI ondersteunde handel, en bevordert het via de Visa Foundation financiële inclusie.

Senior Data Engineer, Data Lake (Op afstand vanuit Brazilië)

Bouw en beheer Spark-, Databricks- en Airflow-pipelines voor Visa’s bedrijfsbrede data lake. Verbeter datakwaliteit, orkestratie en betrouwbare selfservice-toegang tot data.

Beschrijving

  • Ontwikkel, test en onderhoud Databricks-pipelines voor data-inname, transformatie en datakwaliteit met PySpark en SparkSQL.
  • Maak MWAA Airflow-DAGs om dataworkflows te orkestreren en werk deze bij.
  • Schrijf en optimaliseer SQL voor transformatie- en validatietaken.
  • Implementeer en monitor controles op datakwaliteit met Great Expectations of een gelijkwaardig hulpmiddel.
  • Draag bij aan codebeoordelingen door collega’s.
  • Los fouten in pipelines en problemen met datakwaliteit op met ondersteuning van senior engineers.
  • Maak documentatie voor datasets en pipelines en werk deze bij.
  • Neem deel aan sprintplanning, schattingen en retrospectives.
  • Pas de CI/CD-, test- en governancestandaarden van het team toe.
  • Help de betrouwbaarheid en kwaliteit van Visa’s bedrijfsbrede data lake te versterken.

Vereisten

  • Je bent gevestigd in Brazilië.
  • Je communiceert in het Engels op B2-niveau of hoger (upper-intermediate).
  • Je hebt minimaal 3 jaar relevante ervaring met een bachelor- of associate degree, of minimaal 5 jaar relevante ervaring.
  • Je gebruikt Python voor automatisering en dataverwerking.
  • Je begrijpt batchdatapipelines en ETL-/ELT-patronen.
  • Je kent de basis van Apache Spark, waaronder PySpark of SparkSQL.
  • Je werkt met Databricks-jobs, workflows, clusterbeheer en performancetuning.
  • Je gebruikt SQL op intermediate tot advanced niveau, waaronder joins, window functions en CTE’s.
  • Je begrijpt het ontwerp van Amazon S3-datalakes, waaronder partitionering, indeling en lifecyclebeheer.
  • Je kent de belangrijkste AWS-concepten, waaronder S3, IAM en CloudWatch.
  • Je begrijpt dimensionele of Kimball-modellering en architecturen met medallionlagen.
  • Je gebruikt Git-/GitHub-workflows en neemt deel aan codebeoordelingen.
  • Ervaring met Delta Lake, Apache Airflow/MWAA, CDC-patronen, datakwaliteitsconcepten, basiskennis van Terraform of BI-integratie zoals Superset en dashboarding is een pré.

Voordelen

  • Mogelijkheid om op afstand te werken.
  • De kans om op grote schaal impact te maken.
  • Professionele ontwikkeling en groei van vaardigheden door betekenisvol werk.
  • Remote medewerkers kunnen na voorafgaande planning en kennisgeving mogelijkheden krijgen om vanuit een Visa-kantoor te werken.

Gerelateerde vacatures

Powered by Search

Hoofd Groei, Canada (remote)

Powered by Search
11 – 50 Medewerkers
B2BMarketingSaaS

Geef leiding aan SEO, generatieve zoekmachineoptimalisatie, betaalde klantenwerving en merkambassadeurschap bij een B2B-bureau voor vraaggeneratie. Bouw de verkooppijplijn uit met AI-agentworkflows, content, webinars, podcasts en branche-evenementen.

Openen