A Sigma Software Group é uma empresa multinacional de consultoria em tecnologia fundada em 2002. Suas equipes oferecem desenvolvimento de software, design gráfico, testes e suporte técnico para clientes de setores como automotivo, saúde, telecomunicações, aviação, bancos, jogos, mercado imobiliário e publicidade. A empresa contrata especialistas em TI para trabalhar em projetos complexos de engenharia e apoia o desenvolvimento profissional por meio de mentoria e aprendizado contínuo. O trabalho remoto faz parte de seu modelo de trabalho, com projetos para organizações como AstraZeneca, Scania e SAS.
Engenheiro(a) de dados (Azure, Spark) — remoto na Ucrânia
Crie plataformas e pipelines de dados escaláveis no Azure para apoiar análises, relatórios e decisões baseadas em dados. Desenvolva fluxos de trabalho com Spark e processamento de dados confiável em colaboração com várias equipes.
Descrição
- Crie plataformas e pipelines de dados escaláveis e confiáveis para necessidades analíticas e operacionais.
- Desenvolva fluxos de processamento de dados com frameworks distribuídos, como Apache Spark e PySpark no Databricks.
- Ajude a evoluir a plataforma de dados em nuvem com serviços do Azure, incluindo Data Factory, Synapse, Microsoft Fabric, Databricks, Event Hub e Azure Data Lake Storage.
- Integre e processe dados internos e externos, mantendo consistência, qualidade e confiabilidade.
- Assuma a responsabilidade pela confiabilidade, pelo monitoramento e pelo desempenho dos pipelines.
- Trabalhe com analistas, cientistas de dados e engenheiros para transformar necessidades de negócio e análise em soluções de dados robustas.
- Aprimore as práticas de engenharia de dados, incluindo padrões de pipeline, testes e confiabilidade operacional.
- Avalie ferramentas e tecnologias para o ambiente de engenharia de dados e ajude a introduzi-las.
Requisitos
- Tenha pelo menos quatro anos de experiência prática em engenharia de dados ou na criação de plataformas de processamento de dados.
- Use SQL com segurança e tenha sólida experiência com Python para desenvolver e manter pipelines de dados.
- Tenha experiência com frameworks de processamento distribuído, como Apache Spark ou PySpark; experiência com Databricks é um grande diferencial.
- Tenha experiência prática no projeto e na implementação de pipelines de dados em nuvem, preferencialmente no Azure.
- Tenha projetado pipelines e modelos de dados para sistemas analíticos em escala de produção.
- Entenda o design ETL/ELT, a modelagem dimensional e os princípios de data warehousing.
- Tenha experiência com arquiteturas modernas de data lake e formatos como Parquet e JSON.
- Tenha usado ferramentas de orquestração de fluxos de trabalho, como Airflow.
- Tenha experiência em desenvolvimento de bancos de dados e otimização de desempenho.
- Seja capaz de projetar soluções de dados escaláveis e fáceis de manter, com supervisão mínima.
- Comunique-se e colabore com eficácia.
- Tenha proficiência profissional em inglês.
- Tenha experiência com data warehouses em nuvem, como Snowflake, BigQuery ou Redshift.
- Tenha experiência com tecnologias de streaming, como Event Hub, Kafka ou Spark Streaming.
- Tenha experiência com Delta Lake ou outras tecnologias lakehouse.
- Conheça práticas de CI/CD e fluxos de desenvolvimento baseados em Git.
- Tenha experiência trabalhando em ambientes de desenvolvimento ágil.
Benefícios
- Trabalho remoto.