A EY é uma empresa global de serviços profissionais que oferece expertise em auditoria, impostos, consultoria e assessoria. Suas equipes ajudam organizações a enfrentar desafios empresariais complexos, fortalecer a confiança nas informações financeiras e nos mercados e usar dados e tecnologia para apoiar a transformação.
A empresa oferece serviços que incluem assessoria em finanças corporativas, estratégia de transações e consultoria em tecnologia. A EY trabalha com clientes de áreas como saúde, serviços jurídicos, marketing, energia, finanças e governo, com sustentabilidade e inovação orientando muitas de suas soluções.
Engenheiro(a) sênior de dados – IA e dados | EY Chennai
A EY está contratando um(a) engenheiro(a) sênior de dados em Chennai para criar soluções escaláveis com AWS e Databricks para clientes de consultoria. A função tem foco em pipelines de dados, entrega com CI/CD e infraestrutura de analytics empresarial.
Descrição
- Liderar o design e o gerenciamento de pipelines de CI/CD durante todo o ciclo de desenvolvimento e implantação de soluções de dados
- Mapear e integrar dados entre diversos sistemas de origem e destino
- Criar e otimizar soluções de dados e IA, incluindo pipelines de engenharia e modelos de dados
- Escrever código pronto para produção em Python, PySpark e SQL
- Realizar implantações de produção em escala empresarial usando práticas de DevOps
- Contribuir para a entrega ágil por meio do planejamento de sprints, revisões e melhoria contínua
- Aplicar padrões de governança e qualidade de dados para apoiar a integridade e a conformidade
Requisitos
- De 5 a 8 anos de experiência relevante com soluções de dados e IA, pipelines de engenharia, modelagem de dados e ajuste de desempenho
- Ampla experiência no desenvolvimento de frameworks de ingestão de dados e pipelines escaláveis
- Experiência avançada com serviços da AWS, incluindo S3, EC2, Glue, Lambda e Secrets Manager
- Experiência prática trabalhando com Databricks
- Proficiência em DBT (Data Build Tool)
- Experiência com Apache Airflow para orquestração de workflows
- Forte capacidade de programação em Python, PySpark, Spark e Scala
- Experiência com Git, Jenkins e Apache Subversion
- Pelo menos 3 anos de experiência em ambientes de data warehouse de grande porte
- Pelo menos 3 anos de experiência com arquitetura de data warehouse, processos ETL/ELT e ferramentas de relatórios ou analytics
- Experiência de desenvolvimento em Python e/ou Java em ambientes de engenharia de dados
- Familiaridade com EMR, Hadoop, Databricks, Hive e PySpark
- Forte entendimento dos padrões de governança e qualidade de dados
- Capacidade de desenvolver jobs Spark eficientes e ajustar o desempenho em ambientes de grande escala
- Conhecimento avançado de SQL e consulta de dados
- Excelentes habilidades de comunicação escrita e verbal
- Certificações técnicas profissionais em AWS, Databricks ou equivalentes são altamente desejáveis
- Familiaridade com tecnologias de integração em nuvem e empresarial