Visa
Visa
A Visa é uma empresa global de tecnologia de pagamentos que atende consumidores, estabelecimentos comerciais, instituições financeiras e governos por meio de sua rede de pagamentos eletrônicos. Sua plataforma oferece suporte a transações de crédito, débito e pré-pagas, além de processamento de pagamentos, prevenção contra fraudes, segurança, análise de dados e outros serviços para consumidores e empresas. A Visa também desenvolve soluções de pagamento emergentes, incluindo iniciativas de comércio habilitadas por inteligência artificial, e promove a inclusão financeira por meio da Visa Foundation.

Engenheiro(a) de Dados Sênior, Data Lake (Remoto no Brasil)

Desenvolva e mantenha pipelines de Spark, Databricks e Airflow para o data lake corporativo da Visa. Melhore a qualidade dos dados, a orquestração e o acesso self-service confiável aos dados.

Descrição

  • Desenvolver, testar e manter pipelines de ingestão, transformação e qualidade de dados no Databricks com PySpark e SparkSQL.
  • Criar e atualizar DAGs do Airflow no MWAA para orquestrar fluxos de trabalho de dados.
  • Escrever e otimizar SQL para tarefas de transformação e validação.
  • Implementar e monitorar verificações de qualidade de dados com Great Expectations ou uma ferramenta equivalente.
  • Contribuir para revisões de código entre pares.
  • Solucionar falhas de pipelines e problemas de qualidade de dados com o apoio de engenheiros seniores.
  • Criar e atualizar a documentação de conjuntos de dados e pipelines.
  • Participar do planejamento de sprints, estimativas e retrospectivas.
  • Aplicar os padrões de CI/CD, testes e governança da equipe.
  • Ajudar a fortalecer a confiabilidade e a qualidade do data lake corporativo da Visa.

Requisitos

  • Residir no Brasil.
  • Comunicar-se em inglês no nível B2 ou superior (intermediário-avançado).
  • Ter pelo menos 3 anos de experiência relevante e bacharelado ou tecnólogo, ou pelo menos 5 anos de experiência relevante.
  • Usar Python para automação e processamento de dados.
  • Compreender pipelines de dados em lote e padrões ETL/ELT.
  • Conhecer os fundamentos do Apache Spark, incluindo PySpark ou SparkSQL.
  • Trabalhar com jobs, workflows, gerenciamento de clusters e otimização de desempenho no Databricks.
  • Usar SQL de nível intermediário a avançado, incluindo joins, funções de janela e CTEs.
  • Compreender o design de data lakes no Amazon S3, incluindo particionamento, organização e gerenciamento do ciclo de vida.
  • Conhecer os conceitos básicos da AWS, incluindo S3, IAM e CloudWatch.
  • Compreender modelagem dimensional ou Kimball e arquiteturas em camadas medallion.
  • Usar fluxos de trabalho do Git/GitHub e participar de revisões de código.
  • Diferencial: experiência com Delta Lake, Apache Airflow/MWAA, padrões de CDC, conceitos de qualidade de dados, fundamentos de Terraform ou integração com BI, como Superset e criação de dashboards.

Benefícios

  • Modelo de trabalho remoto.
  • Oportunidade de gerar impacto em grande escala.
  • Desenvolvimento profissional e aprimoramento de habilidades por meio de trabalho relevante.
  • Funcionários remotos podem ter oportunidades programadas e comunicadas com antecedência para trabalhar em um escritório da Visa.

Vagas relacionadas

Marsh McLennan

Consultor sênior de atuária em saúde para o setor público

Marsh McLennan

Assessora órgãos estaduais do Medicaid com análises atuariais, modelos de preços e desenho de planos de saúde. Lidera projetos com clientes e orienta colegas em início de carreira.

Abrir
LifeStance Health

Conselheiro Licenciado em Saúde Mental (LMHC) — Rhode Island

LifeStance Health

Ofereça atendimento ambulatorial em saúde comportamental a crianças, adolescentes e adultos nas clínicas da LifeStance Health e por telemedicina. Preste cuidados personalizados como parte de uma equipe clínica colaborativa.

Abrir