O Instituto de Pesquisas Eldorado é um instituto brasileiro de pesquisa e desenvolvimento fundado em 1999, que ajuda organizações a transformar iniciativas de tecnologia em produtos testados e inovação prática. Seu trabalho inclui certificação de produtos de telecomunicações, testes laboratoriais e consultoria em inovação para setores como automotivo, saúde, logística, agricultura, energia e óleo e gás. O instituto também desenvolve programas de treinamento e educação e colabora com parceiros da indústria e da pesquisa para ampliar as capacidades tecnológicas.
Analista de Dados – PySpark, SQL e Power BI
Crie pipelines de dados, modelos e painéis para o centro brasileiro de P&D do Instituto de Pesquisas Eldorado. Trabalhe com PySpark, SQL, Databricks e Power BI.
Descrição
- Crie e implemente pipelines de ingestão usando APIs REST, web scraping, procedimentos SQL legados e arquivos
- Ajude a implementar replicação somente leitura para sistemas sem acesso direto ao banco de dados, considerando o impacto no desempenho
- Transforme dados com PySpark e SQL
- Ajude a avaliar os custos e o desempenho do processamento e a dimensionar os recursos com eficiência
- Ajude a criar camadas de dados Bronze, Silver e Gold usando a arquitetura medalhão
- Crie pipelines de scraping resilientes, com detecção de mudanças no layout e medidas para reduzir bloqueios
- Remova duplicidades, normalize os dados e teste sua qualidade
- Ajude a implementar contratos de dados e alertas de alteração de esquema para integrações de terceiros
- Crie painéis e relatórios no Power BI
- Transforme necessidades de negócio em modelos de dados e visualizações claras
- Aplique segurança em nível de linha (RLS) aos relatórios de acordo com as políticas de controle de acesso baseado em função (RBAC)
- Crie testes de qualidade de dados e transformações declarativas com dbt
- Ajude a configurar recursos de análise de autoatendimento, incluindo o Fabric Copilot
- Trabalhe com as equipes de governança de dados para manter a linhagem e a classificação
- Identifique e corrija problemas de desempenho em pipelines e consultas
- Realize testes de aceitação do usuário e aprimore os painéis com base nos feedbacks
Requisitos
- Graduação em Ciência da Computação, Engenharia da Computação, Análise de Sistemas ou área relacionada
- Experiência de nível pleno em engenharia de dados, Python ou PySpark e SQL
- Familiaridade com Databricks ou Spark
- Familiaridade com ferramentas de orquestração, como Azure Data Factory
- Familiaridade com formatos analíticos de dados, como Parquet e Delta Lake
- Conhecimento de dbt é um diferencial
- Familiaridade com Git e CI/CD para pipelines de dados
- Experiência na integração de dados por APIs REST
- Conhecimento de práticas de visualização de dados e narrativa com dados
- Experiência trabalhando com fontes de dados variadas, incluindo SQL, APIs, arquivos, Lakehouse e Warehouse
- Experiência na implementação de segurança em nível de linha (RLS)
- Disponibilidade para viajar a São Paulo é um diferencial
- Inglês avançado é um diferencial
Benefícios
- Igualdade de oportunidades para todas as pessoas candidatas
- Ambiente de trabalho diverso e inclusivo
- Vaga aberta para pessoas com deficiência
- Modelo de trabalho híbrido
- Oportunidades para desenvolver experiência e contribuir com projetos relevantes
- Acesso à infraestrutura de laboratórios e aos projetos de P&D da organização