A Tiger Analytics é uma empresa de consultoria em inteligência artificial e análise de dados que ajuda organizações a transformar dados complexos em decisões de negócios práticas. Seu trabalho abrange estratégia de dados, aprendizado de máquina, engenharia de IA e inteligência de negócios, com foco em incorporar a análise às operações diárias e a programas mais amplos de transformação digital. A empresa atua em setores como saúde, logística, marketing, bens de consumo e finanças, utilizando tecnologias de nuvem e parcerias com provedores como Microsoft, Google Cloud e AWS para desenvolver e ampliar soluções orientadas por dados.
Engenheiro(a) sênior de dados, Databricks e Spark
Crie pipelines de dados escaláveis para clientes corporativos da Tiger Analytics usando Databricks e Spark. Aprimore fluxos de ETL, agendamentos em lote e soluções de dados em produção.
Descrição
- Crie e mantenha pipelines escaláveis com Databricks, Spark, Python e Scala.
- Desenvolva e aprimore processos de ETL/ELT para ingestão, transformação e processamento de dados de diversas fontes.
- Use ferramentas Hadoop para processar e gerenciar grandes conjuntos de dados estruturados e não estruturados.
- Ajuste e solucione problemas em aplicações Spark para melhorar o desempenho, a escalabilidade e a confiabilidade.
- Gerencie agendamentos em lote, dependências de fluxos de trabalho e execuções de pipelines com Control-M.
- Investigue falhas de tarefas e problemas nos pipelines para manter as cargas agendadas dentro do prazo.
- Adicione validações, tratamento de erros e verificações de qualidade para manter dados precisos e consistentes.
- Colabore com arquitetos de dados, analistas e outras equipes para levantar necessidades e entregar soluções confiáveis.
- Aplique padrões de codificação, práticas de teste, controle de versão e procedimentos de implantação.
- Dê suporte a implantações em produção, resposta a incidentes e manutenção contínua das soluções.
Requisitos
- Pelo menos 8 anos de experiência em engenharia de dados.
- Ampla experiência prática com Databricks e Apache Spark.
- Proficiência em Python e Scala para processamento de dados e desenvolvimento de aplicações.
- Experiência prática com Hadoop e tecnologias de big data.
- Experiência com Control-M para agendamento em lote, monitoramento de tarefas, orquestração de fluxos de trabalho e gerenciamento de dependências.
- Amplo conhecimento de ETL/ELT, transformações de dados e processamento distribuído de dados.
- Experiência com otimização de desempenho, depuração, solução de problemas e suporte à produção.
- Sólidos conhecimentos de SQL e compreensão de conceitos de gerenciamento de dados.
- Fortes habilidades analíticas, de resolução de problemas e colaboração.
Benefícios
- Cobertura médica.
- Cobertura odontológica.
- Cobertura oftalmológica.
- Contas de aposentadoria.
- Cobertura para incapacidade de curto e longo prazo.
- Seguro de vida.
- Contas HSA/FSA nos Estados Unidos.
- Folgas a critério do profissional.
- Aprendizado contínuo e contato prático com tecnologias emergentes.
- Oportunidades para desenvolver especialização em IA generativa, IA agêntica e plataformas de dados de próxima geração.
- Trabalho com equipes globais de IA, dados, engenharia e consultoria.
- Oportunidades para liderar projetos estratégicos e desenvolver parcerias com clientes.