O Expleo Group é um parceiro global de engenharia, tecnologia e consultoria que ajuda organizações a transformar suas operações, desenvolver produtos complexos e aprimorar processos de fabricação e qualidade. Sua atuação abrange consultoria, defesa e logística, com competências em inteligência artificial, digitalização e cibersegurança. Fundado em 1966, o Expleo combina mais de cinco décadas de experiência com uma equipe de 18.000 especialistas que trabalham em 29 países para apoiar a inovação e o desempenho operacional.
Engenheiro de dados, PySpark e Databricks
Desenvolva pipelines com PySpark e SQL no Databricks para criar conjuntos de dados confiáveis e bem governados. Colabore com equipes de análise e aprendizado de máquina em Chennai.
Descrição
- Desenvolver pipelines ETL e ELT com PySpark e SQL para processamento de dados em grande escala
- Criar e otimizar fluxos de trabalho no Databricks, incluindo notebooks, jobs e configurações de clusters
- Trabalhar com equipes de análise e aprendizado de máquina para entregar conjuntos de dados limpos e documentados
- Monitorar o desempenho dos pipelines, resolver falhas e manter a qualidade e a integridade dos dados
- Estabelecer boas práticas de governança de dados e da plataforma
- Contribuir para revisões de design e decisões arquiteturais
Requisitos
- Ter de 4 a 6 anos de experiência prática em engenharia de dados ou área relacionada
- Usar PySpark com confiança para processamento distribuído em grande escala
- Aplicar SQL avançado, incluindo otimização de consultas, funções de janela, CTEs e junções complexas
- Ter sólida experiência com Databricks, Delta Lake e fluxos de trabalho; Unity Catalog é um diferencial
- Ter experiência com plataformas de nuvem AWS ou Azure
- Ter conhecimentos essenciais de PySpark, SQL, Databricks, AWS, Azure, Python e Git
- Experiência com ferramentas de streaming, como Apache Kafka ou Spark Streaming, é um diferencial
- Familiaridade com pipelines de aprendizado de máquina e fluxos de trabalho de engenharia de atributos é um diferencial