A Bitful é uma empresa de consultoria tecnológica que trabalha com organizações dos setores de telecomunicações, governo, defesa, logística e saúde. Seus serviços incluem infraestrutura em nuvem, consultoria em análise de dados e criação e desenvolvimento de software personalizado. A empresa descreve sua abordagem como centrada nas pessoas, com foco em ampliar o acesso à tecnologia e criar oportunidades em comunidades carentes. A Bitful também compartilha seus lucros e destina parte deles a programas de mentoria em tecnologia.
Engenheiro(a) sênior de dados, Databricks
Desenvolva pipelines e conjuntos de dados em lakehouse no Databricks para relatórios, aprendizado de máquina e análises. Dê suporte a equipes de finanças, vendas, cadeia de suprimentos e marketing.
Descrição
- Crie e mantenha pipelines de dados e conjuntos de dados que viabilizem relatórios, visualizações, aprendizado de máquina e decisões embasadas em diferentes áreas do negócio.
- Desenvolva pipelines escaláveis e conjuntos de dados reutilizáveis em um lakehouse do Databricks.
- Faça a ingestão, validação, limpeza e transformação de dados estruturados e não estruturados com Python, PySpark e SQL.
- Crie modelos de dados e conjuntos de dados para relatórios no Tableau e em ferramentas como o Spotfire.
- Conecte data warehouses e sistemas de relatórios existentes a plataformas modernas de análise em nuvem.
- Reforce a confiabilidade dos pipelines, a qualidade dos dados e a velocidade de processamento.
- Estabeleça práticas de testes automatizados, monitoramento, documentação e CI/CD.
- Trabalhe com analistas, arquitetos, desenvolvedores e partes interessadas do negócio para entregar soluções de dados úteis.
- Oriente o trabalho técnico, revise código e faça mentoria de outros engenheiros de dados.
Requisitos
- Pelo menos sete anos de experiência em engenharia de dados, incluindo criação e suporte a pipelines de dados em produção.
- Sólidos conhecimentos de SQL e boa compreensão de modelagem de dados, projeto de bancos de dados e data warehousing.
- Experiência prática com Databricks, Apache Spark e plataformas de dados em nuvem.
- Domínio de Python e PySpark.
- Experiência na criação de pipelines ETL/ELT e na conexão de dados de vários sistemas de origem.
- Experiência na preparação de conjuntos de dados confiáveis para o Tableau ou ferramentas similares de business intelligence.
- Familiaridade com controle de versão, testes automatizados e CI/CD.
- Capacidade de diagnosticar problemas complexos de dados e melhorar o desempenho de pipelines.
- Boa comunicação e experiência no trabalho com equipes técnicas e partes interessadas do negócio.
- Experiência com Spotfire, Oracle, Informatica, R ou virtualização de dados é desejável.
- Certificação Databricks é desejável.