O Walmart é uma empresa global de varejo e comércio eletrônico que atende aos consumidores por meio de hipermercados, lojas de departamentos de desconto, unidades de alimentos e um marketplace online. Sua ampla oferta de produtos é sustentada por uma extensa rede de lojas físicas, operações diretas ao consumidor e os sistemas de logística e cadeia de suprimentos necessários para manter os produtos em circulação em toda a empresa.
Engenheiro(a) Sênior de Dados - Bangalore, Índia (presencial)
Desenvolva pipelines escaláveis em lote e streaming e produtos de dados de GenAI para as operações de auditoria pós-pagamento do Walmart. Melhore a precisão dos pagamentos, a reconciliação, os processos de recuperação e as análises financeiras.
Descrição
- Desenvolver e manter pipelines escaláveis em lote, streaming e quase em tempo real para auditoria pós-pagamento, integridade de pagamentos, reconciliação de fornecedores, operações de recuperação e análises financeiras.
- Desenvolver conjuntos de dados tratados, modelos semânticos, tabelas prontas para features e produtos de dados reutilizáveis a partir de sistemas de faturas, pedidos de compra, recebimento, fornecedores, sinistros, preços e pagamentos.
- Criar fluxos de trabalho ELT, ETL e de streaming com SQL, Python, PySpark, Apache Flink, dbt, ferramentas de orquestração, plataformas de streaming de eventos e tecnologias de dados em nuvem.
- Desenvolver pipelines de streaming e captura de dados alterados com processamento baseado no tempo do evento, tratamento de dados atrasados, reprodutibilidade, idempotência, reprocessamentos e recuperação de falhas.
- Projetar e operar produtos de dados lakehouse usando Apache Hudi, Apache Iceberg ou Delta Lake.
- Estabelecer verificações de qualidade de dados, controles de reconciliação, validação de esquemas, linhagem, monitoramento, alertas e práticas de observabilidade.
- Trabalhar com as equipes de Finanças, Auditoria, Operações, Produto, Ciência de Dados e Engenharia para entregar soluções de dados prontas para produção.
- Habilitar detecção de anomalias, priorização de exceções, regras de auditoria, pontuação de machine learning e fluxos de trabalho de GenAI.
- Criar automações e serviços de dados que ajudem as equipes de auditoria a resumir evidências, classificar exceções, fornecer contexto para investigações e reduzir a revisão manual.
- Implementar padrões de engenharia de dados de GenAI, como repositórios de documentos prontos para recuperação, pipelines de embeddings, integrações com bancos de dados vetoriais, enriquecimento de metadados e recuperação de conhecimento governada.
- Melhorar as cargas de trabalho em lote e streaming quanto à confiabilidade, atualidade, latência, gerenciamento de estado, eficiência computacional e usabilidade downstream.
- Investigar discrepâncias de dados, falhas de pipelines, divergências de reconciliação e problemas nos sistemas de origem por meio de análise de causa raiz.
Requisitos
- Bacharelado em Ciência da Computação, Engenharia, Tecnologia da Informação, Engenharia de Dados, Analytics, Matemática, Estatística ou disciplina relacionada, além de mais de 6 anos de experiência relevante; alternativamente, mestrado com mais de 4 anos ou doutorado com mais de 3 anos de experiência relevante.
- Experiência prática comprovada com SQL, Python, PySpark, Apache Flink ou framework comparável de processamento de streams e processamento distribuído de dados em grande escala.
- Experiência com dbt ou framework comparável de transformação, Airflow ou ferramentas de orquestração similares, Kafka ou plataforma equivalente de streaming de eventos e tecnologias de dados em nuvem ou empresariais, como BigQuery, Hive ou Spark.
- Histórico comprovado de projetar, implantar e dar suporte a pipelines de produção em lote e streaming, fluxos de trabalho ELT/ETL, modelos de dados e produtos de dados reutilizáveis.
- Conhecimento sólido de modelagem de dados, particionamento, ajuste de desempenho, processamento incremental, CDC, evolução de esquemas, contratos de dados, gerenciamento de metadados, linhagem e formatos lakehouse, incluindo Apache Hudi, Apache Iceberg ou Delta Lake.
- Experiência na entrega de verificações de qualidade de dados, lógica de reconciliação, frameworks de validação, observabilidade, monitoramento, alertas e resolução de incidentes para pipelines de produção.
- Experiência no desenvolvimento de soluções de streaming com processamento baseado no tempo do evento, transformações com estado, checkpointing, watermarking, processamento exatamente uma vez ou efetivamente uma vez e estratégias de replay ou reprocessamento.
- Experiência com grandes conjuntos de dados estruturados e semiestruturados provenientes de vários sistemas de origem, incluindo dados operacionais com definições de negócio inconsistentes.
- Fortes habilidades de colaboração e capacidade de trabalhar com as equipes de Finanças, Auditoria, Operações, Produto, Ciência de Dados e Engenharia.
- As alternativas de qualificação mínima incluem bacharelado em Ciência da Computação com 3 anos de experiência em engenharia de software ou área relacionada; 5 anos de experiência em engenharia de software ou área relacionada; ou mestrado em Ciência da Computação com 1 ano de experiência em engenharia de software ou área relacionada.
- Pelo menos 2 anos de experiência em engenharia de dados, engenharia de bancos de dados, business intelligence ou analytics empresarial.
Benefícios
- Incentivos baseados em desempenho.
- Licença-maternidade e licença parental.
- Folga remunerada.
- Benefícios de saúde.