A DysrupIT é uma empresa de serviços em nuvem e soluções de TI que ajuda as organizações a modernizar sua tecnologia e avançar para modelos operacionais baseados em as-a-Service. Seu trabalho abrange nuvem empresarial, serviços gerenciados, engenharia de aplicações, cibersegurança, análise de dados e gestão da informação, apoiando empresas que vão de pequenas e médias organizações a multinacionais. A empresa trabalha com a Microsoft e outras plataformas de nuvem, combinando entrega técnica com desenvolvimento de talentos, impacto comunitário e parcerias de longo prazo para criar ambientes tecnológicos seguros e escaláveis, alinhados às necessidades dos negócios.
Engenheiro(a) sênior de dados, pipelines financeiros em GCP
Crie pipelines de dados auditáveis no Google Cloud para faturamento e emissão de faturas. Use BigQuery, Python, SQL e controles de qualidade para garantir conciliações precisas.
Descrição
- Crie e mantenha pipelines de ingestão no GCP para dados financeiros e de faturamento.
- Desenvolva modelos no BigQuery com tabelas ARRAY/STRUCT aninhadas, particionamento e clustering.
- Adicione verificações de conciliação entre as camadas de origem, preparação e saída.
- Valide os arquivos recebidos e coloque em quarentena dados inválidos ou incompletos.
- Crie pipelines idempotentes que possam ser executados novamente sem duplicação ou corrupção dos dados.
- Use tabelas somente de acréscimo e views como verificações para apoiar a auditabilidade.
- Processe valores monetários com tipos NUMERIC do BigQuery e arredondamento adequado.
- Gerencie dados de referência com datas de vigência, incluindo tarifas, mapeamentos e atributos de clientes.
- Rastreie a linhagem dos dados desde as saídas até os dados de origem.
- Escreva código Python tipado, sustentável e bem testado usando pydantic e pytest.
- Desenvolva e otimize SQL avançado para transformação, conciliação e relatórios.
- Trabalhe com as equipes de engenharia, analytics e finanças para transformar regras de negócio em lógica de dados confiável.
- Oriente colegas e ajude a estabelecer padrões e práticas de engenharia de dados.
Requisitos
- Pelo menos seis anos de experiência em engenharia de dados.
- Experiência comprovada na criação de pipelines financeiros ou de faturamento que exigem a conciliação de todos os valores.
- Sólidos conhecimentos de Python, incluindo pydantic, código tipado e pytest.
- Conhecimentos avançados de SQL, incluindo joins complexos, funções de janela e otimização de desempenho.
- Experiência aprofundada com Google BigQuery, incluindo tabelas ARRAY/STRUCT aninhadas, particionamento e clustering.
- Experiência no tratamento preciso de valores monetários com tipos de dados NUMERIC.
- Experiência na criação de tabelas somente de acréscimo e no uso de views como verificações de dados.
- Sólido conhecimento de práticas de qualidade de dados, incluindo verificações de conciliação, validação de arquivos e quarentena.
- Experiência na criação de pipelines idempotentes que possam ser executados novamente com segurança.
- Experiência na implementação de linhagem de dados e no gerenciamento de dados de referência com datas de vigência.
- Experiência com faturamento, incluindo notas de crédito, refaturamento, conversão cambial e fechamento mensal.
- Experiência de trabalho com equipes de finanças ou faturamento em ambiente regulado ou auditado.
- Experiência com outros serviços do GCP, como Cloud Storage, Cloud Run ou Firestore.
Benefícios
- Remuneração competitiva de acordo com a experiência.
- Benefícios previstos pelo governo.
- Cobertura HMO complementar.
- Ambiente de trabalho colaborativo e profissional.
- Oportunidades de crescimento profissional em uma organização em expansão.
- Modelo de trabalho híbrido ou remoto, quando aplicável.
- Treinamento para apoiar o desenvolvimento e o avanço profissional dos funcionários.