Visa
Visa
Visa è un’azienda globale di tecnologia dei pagamenti che offre servizi a consumatori, commercianti, istituti finanziari e governi attraverso la propria rete di pagamenti elettronici. La sua piattaforma supporta transazioni con carte di credito, debito e prepagate, oltre a servizi di elaborazione dei pagamenti, prevenzione delle frodi, sicurezza, analisi e altre soluzioni per consumatori e aziende. Visa sviluppa inoltre soluzioni di pagamento emergenti, comprese iniziative di commercio basate sull’intelligenza artificiale, e sostiene l’inclusione finanziaria attraverso la Visa Foundation.

Senior Data Engineer, Data Lake (da remoto in Brasile)

Sviluppa e mantieni pipeline Spark, Databricks e Airflow per il data lake aziendale di Visa. Migliora la qualità dei dati, l’orchestrazione e l’accesso self-service affidabile ai dati.

Descrizione

  • Sviluppare, testare e mantenere pipeline di ingestione, trasformazione e qualità dei dati in Databricks con PySpark e SparkSQL.
  • Creare e aggiornare i DAG Airflow in MWAA per orchestrare i flussi di lavoro dei dati.
  • Scrivere e ottimizzare query SQL per attività di trasformazione e convalida.
  • Implementare e monitorare controlli della qualità dei dati con Great Expectations o uno strumento equivalente.
  • Contribuire alle revisioni del codice tra pari.
  • Risoluzione dei problemi relativi ai guasti delle pipeline e alla qualità dei dati con il supporto di ingegneri senior.
  • Creare e aggiornare la documentazione relativa a dataset e pipeline.
  • Partecipare alla pianificazione degli sprint, alle stime e alle retrospettive.
  • Applicare gli standard del team in materia di CI/CD, testing e governance.
  • Contribuire a rafforzare l’affidabilità e la qualità del data lake aziendale di Visa.

Requisiti

  • Essere basati in Brasile.
  • Comunicare in inglese a un livello B2 o superiore (intermedio avanzato).
  • Avere almeno 3 anni di esperienza pertinente e una laurea o un diploma associate, oppure almeno 5 anni di esperienza pertinente.
  • Utilizzare Python per l’automazione e l’elaborazione dei dati.
  • Comprendere le pipeline di dati batch e i pattern ETL/ELT.
  • Conoscere i fondamenti di Apache Spark, inclusi PySpark o SparkSQL.
  • Lavorare con job e workflow Databricks, gestione dei cluster e ottimizzazione delle prestazioni.
  • Utilizzare SQL di livello intermedio-avanzato, inclusi join, funzioni finestra e CTE.
  • Comprendere la progettazione di data lake in Amazon S3, inclusi partizionamento, struttura e gestione del ciclo di vita.
  • Conoscere i concetti fondamentali di AWS, inclusi S3, IAM e CloudWatch.
  • Comprendere la modellazione dimensionale o Kimball e le architetture a livelli medallion.
  • Utilizzare i workflow Git/GitHub e partecipare alle revisioni del codice.
  • Costituisce un plus l’esperienza con Delta Lake, Apache Airflow/MWAA, pattern CDC, concetti di qualità dei dati, fondamenti di Terraform o integrazione BI, come Superset e la creazione di dashboard.

Benefit

  • Modalità di lavoro da remoto.
  • Opportunità di generare un impatto su larga scala.
  • Sviluppo professionale e crescita delle competenze attraverso attività significative.
  • I dipendenti da remoto possono avere opportunità programmate e comunicate in anticipo per lavorare presso un ufficio Visa.

Offerte correlate

Northrop Grumman

Consulente tecnico senior per il commercio globale, settore spaziale

Northrop Grumman

Guida i programmi di classificazione delle esportazioni, autorizzazione e formazione per il settore spaziale di Northrop Grumman. Fornisce consulenza sulla conformità commerciale per sistemi aerospaziali e di difesa.

Apri
sifamo GmbH

Sviluppatore software Angular e Spring Boot con IA – Ibrido in Germania

sifamo GmbH

Sviluppa applicazioni Angular e Spring Boot in sifamo, comprese soluzioni basate sull’IA. Lavora con piattaforme cloud, Kubernetes e tecnologie cognitive.

Apri
OPENLANE

Sviluppatore Android con approccio AI-first

OPENLANE
1001 – 5000 Dipendenti
AutomotiveB2BMarketplace

Sviluppa app Android rivolte ai clienti per il marketplace digitale di veicoli di OPENLANE, al servizio di acquirenti e venditori. Crea funzionalità e test in Kotlin e miglioramenti assistiti dall’IA collaborando con i team mobile e di prodotto.

Apri
RockstarDevelopers GmbH

Sviluppatore senior full stack, Java e Angular

RockstarDevelopers GmbH
11 – 50 Dipendenti
ConsulenzaLogisticaMarketing

Sviluppa soluzioni Java e Angular per clienti aziendali e di settori regolamentati presso RockstarDevelopers GmbH. Lavora da remoto dalla Germania con moderni strumenti di programmazione basati sull’IA.

Apri