A Derevo é uma empresa de análise de dados e transformação digital que ajuda organizações a converter dados em inteligência de negócios. Seu trabalho abrange todo o ciclo de vida da análise, desde a criação e integração de dados até a análise e o compartilhamento, além de iniciativas para desenvolver culturas orientadas por dados. A empresa aplica inteligência artificial e aprendizado de máquina em soluções analíticas para diversos setores e utiliza um modelo de entrega nearshore com equipes globais, atendendo especialmente clientes nos Estados Unidos e no Canadá. Com mais de uma década de experiência, a Derevo trabalha com provedores de tecnologia para apoiar organizações em mudanças orientadas por dados. Suas equipes atuam em consultoria, logística e marketing, e a empresa contrata em toda a organização.
Engenheiro(a) sênior de dados, Microsoft Fabric
Crie arquiteturas, lakehouses e pipelines de dados no Microsoft Fabric para as soluções de dados e IA da Derevo. Transforme grandes volumes de dados em insights que apoiem decisões de negócio.
Descrição
- Criar e implementar arquiteturas de dados modernas e de alta qualidade
- Desenvolver soluções analíticas com tecnologias de Big Data
- Projetar, manter e otimizar sistemas de processamento paralelo
- Aplicar boas práticas para armazenar e gerenciar data warehouses, data lakes e lakehouses
- Coletar, processar, limpar e orquestrar grandes volumes de dados
- Integrar e transformar dados de várias fontes estruturadas e semiestruturadas
- Definir estratégias técnicas alinhadas aos objetivos de negócio
- Participar do projeto e de seus sprints, realizando atividades de desenvolvimento
- Identificar requisitos e definir o escopo
- Participar do planejamento de sprints, sessões de engenharia, workshops e reuniões com equipes internas e clientes
- Classificar e estimar tarefas usando metodologias ágeis
- Acompanhar diariamente o progresso do sprint
- Cumprir os prazos de entrega e gerenciar riscos, comunicando atrasos prontamente
Requisitos
- Inglês avançado
- Domínio sólido de T-SQL e Spark SQL, incluindo DDL, DML, subconsultas, CTEs, múltiplos joins, agregações, funções de janela, stored procedures, otimização de índices, estatísticas e planos de execução
- Sólidos conhecimentos de Python (PySpark), incluindo programação orientada a objetos, estruturas de dados, controle de fluxo, ingestão de dados, DataFrames, UDFs, janelas temporais, particionamento, PEP 8 e modularidade
- Experiência com JSON e APIs REST para orquestração de pipelines, implantações de CI/CD, parametrização dinâmica e gerenciamento de artefatos
- Conhecimento de Microsoft Fabric, Lakehouse, OneLake, Delta Lake e tabelas Delta compatíveis com ACID
- Conhecimento de particionamento, OPTIMIZE, Z-ORDER e time travel
- Conhecimento de warehouses (Synapse Analytics), clusters SQL provisionados e serverless, esquemas estrela e floco de neve, T-SQL transacional, isolamento e escalabilidade automática
- Experiência com CI/CD e gerenciamento do ciclo de vida usando Azure DevOps ou GitHub Actions
- Conhecimento de testes unitários de conjuntos de dados, validação de esquemas e implantação automatizada de artefatos
- Conhecimento de Monitor Hub e Activator, painéis de métricas, alertas proativos e runbooks automatizados
- Conhecimento de Eventstreams e Eventhouse para ingestão de eventos em tempo real, janelas de processamento e agregações incrementais
- Conhecimento de segurança e governança de dados, funções e permissões, segurança em nível de linha e coluna, mascaramento dinâmico de dados e auditoria
- Conhecimento geral de Azure Data Factory é um diferencial
- Sólidas habilidades de comunicação, trabalho em equipe baseado em squads, proatividade, colaboração, aprendizado contínuo, responsabilidade, organização, consultoria de dados, gestão de requisitos, estratégia alinhada ao cliente e apresentações para clientes
Benefícios
- Benefícios previstos em lei e adicionais
- Oportunidades para desenvolver conhecimentos em diferentes áreas e tecnologias
- Desenvolvimento interdisciplinar e novos desafios
- Um ambiente com espaço, confiança e liberdade para criar
- Treinamentos necessários
- Atuação em projetos de tecnologia de ponta para clientes multinacionais
- Trabalho remoto flexível
- Equipamentos necessários para o trabalho
- Ferramentas de comunicação interna