AVANTTi
AVANTTi
A AVANTTi é uma empresa brasileira de serviços de tecnologia focada em ajudar organizações a transformar iniciativas de tecnologia e inovação em valor mensurável para os negócios. Seus serviços incluem alocação de profissionais de TI e recrutamento de talentos, formação rápida de squads, desenvolvimento por meio de uma fábrica de software com tecnologias como ABAP, Java e .NET, além de gestão de portfólio e SAFe por meio de sua metodologia VMO (Value Management Office). A AVANTTi apoia a transformação digital e a entrega de soluções de TI corporativas para organizações de setores como bancos, indústria, logística, varejo e educação, com operações em Curitiba, São Paulo e Rio de Janeiro.

Engenheiro(a) sênior de dados com Azure Databricks

Engenheiro(a) sênior de dados na AVANTTi, desenvolvendo pipelines no Azure Databricks e fluxos de trabalho ETL/ELT. Contribui para sistemas de dados empresariais escaláveis que atendem a necessidades de análise e negócios.

Descrição

  • Criar e otimizar pipelines de dados com Azure Databricks, PySpark, Azure Data Factory, Python e Azure Data Lake.
  • Desenvolver e manter fluxos de trabalho ETL/ELT para integração empresarial e análise de dados.
  • Ingerir, transformar, validar e reconciliar dados de vários sistemas.
  • Analisar o perfil dos dados para identificar problemas de qualidade e preservar sua consistência e confiabilidade.
  • Escrever e otimizar consultas SQL complexas para processar dados com eficiência.
  • Investigar problemas e melhorar o desempenho de cargas de trabalho em grande escala.
  • Resolver incidentes de produção de nível 2 que afetem pipelines do Azure Data Factory, jobs do Databricks e fluxos de dados.
  • Monitorar e dar suporte a pipelines de produção para manter disponibilidade, escalabilidade e eficiência operacional.
  • Apoiar implantações e lançamentos nos ambientes de desenvolvimento, homologação e produção.
  • Coordenar prioridades entre projetos, trabalhar de forma independente e cumprir prazos.

Requisitos

  • Mais de oito anos de experiência em engenharia de dados.
  • Experiência comprovada em engenharia de dados e desenvolvimento ETL.
  • Ampla experiência prática com Azure Databricks e Azure Data Factory (ADF).
  • Conhecimentos avançados em desenvolvimento ETL/ELT e transformação de dados.
  • Conhecimentos avançados de SQL, incluindo escrita, otimização e ajuste de consultas complexas.
  • Experiência com Python e PySpark.
  • Experiência com Azure Data Lake e integração de dados empresariais.
  • Experiência com análise, validação e perfilamento de dados e garantia da qualidade.
  • Experiência no suporte, monitoramento e diagnóstico de problemas em pipelines de produção.
  • Capacidade de trabalhar de forma independente, manter a organização e gerenciar prioridades.
  • Excelentes habilidades de comunicação oral e escrita.
  • Inglês avançado.
  • Desejável: experiência com pipelines CI/CD e práticas DevOps.
  • Desejável: familiaridade com Git, Azure DevOps ou ferramentas equivalentes de controle de versão e implantação.
  • Desejável: familiaridade com ferramentas de monitoramento, registro de logs e observabilidade em nuvem.

Benefícios

  • Contratação no regime CLT.
  • Trabalho totalmente remoto.

Vagas relacionadas

Hitss Brasil

Arquiteto(a) de Cloud Pleno – Kubernetes e OpenShift

Hitss Brasil
5.001 – 10.000 Funcionários
ConsultoriaLogísticaMarketing

Dê suporte aos ambientes de nuvem e contêineres da Hitss Brasil, com foco em Kubernetes e Red Hat OpenShift. Defina padrões de arquitetura de plataformas e automatize configurações com Ansible para contribuir com operações confiáveis.

Abrir