A Optiveum é uma empresa de recrutamento e consultoria especializada em serviços de recursos humanos e tecnologia da informação, com mais de 20 anos de experiência nessas áreas. A empresa conecta profissionais a oportunidades baseadas em projetos e a vagas permanentes, em funções remotas e presenciais, trabalhando com clientes na Polônia e em mercados internacionais. Sua atuação em recrutamento abrange tecnologia da informação, finanças, contabilidade, manufatura, logística e marketing, apoiando organizações que buscam talentos e candidatos em busca de sua próxima oportunidade profissional.
Engenheiro(a) de Dados Sênior Databricks – Contrato remoto na Polônia
Crie pipelines de dados escaláveis e soluções de processamento no Databricks com Python para os clientes de tecnologia da Optiveum. Trabalhe com AWS, Azure e Google Cloud Platform em conjuntos de dados complexos e arquiteturas baseadas em nuvem.
Descrição
- Criar soluções de processamento no Databricks para conjuntos de dados grandes e variados
- Desenvolver e aprimorar pipelines de dados em Python usando tecnologias nativas da nuvem
- Colaborar com arquitetos de soluções para estabelecer e manter padrões de engenharia de dados
- Manter a integridade, a segurança e a escalabilidade dos dados em ambientes de nuvem
- Projetar arquiteturas escaláveis para cargas de trabalho de dados complexas na AWS, no Azure e no Google Cloud Platform
- Aplicar frameworks modernos de dados, práticas de programação e princípios de DevOps
Requisitos
- Experiência profissional comprovada em engenharia de dados, com experiência prática em Databricks
- Conhecimentos avançados de Python para automação e transformação de dados
- Experiência profissional com pelo menos uma das principais plataformas de nuvem: AWS, Azure ou Google Cloud Platform
- Habilidades eficazes de comunicação escrita e verbal
- Proficiência avançada em inglês e polonês
- Sólidos conhecimentos de SQL, incluindo otimização de consultas e modelagem de dados
- Conhecimento prático de práticas de DevOps, pipelines de CI/CD e ferramentas de Infraestrutura como Código, como Terraform ou Bicep
- Experiência com tecnologias de streaming em tempo real, incluindo Kafka ou Spark Streaming
- Conhecimento de plataformas de armazenamento em nuvem, como Data Lake, Snowflake ou Synapse
- Experiência prática com PySpark para processamento distribuído de dados
- Certificações profissionais relevantes, como Databricks Certified Data Engineer Associate ou certificações de dados em nuvem