A GFT Technologies é uma empresa de tecnologia e transformação digital que atua nas áreas de consultoria, seguros e cibersegurança. Sua plataforma Cookiebot ajuda as organizações a coletar e gerenciar o consentimento dos usuários, apoiando ao mesmo tempo a conformidade com regulamentações de privacidade, incluindo o GDPR e a CCPA. As soluções da empresa foram desenvolvidas para se integrar a ambientes digitais existentes e são utilizadas por mais de 600.000 clientes em todo o mundo para lidar com dados pessoais com mais transparência e controle.
Engenheiro de Dados Azure Databricks Pleno/Sênior – Remoto na Colômbia
Projete e otimize pipelines de dados e arquiteturas em nuvem com Azure e Databricks na GFT Technologies. Prepare dados confiáveis para análises, inteligência artificial e aprendizado de máquina.
Descrição
- Projetar, desenvolver e otimizar arquiteturas de dados baseadas em Azure e Databricks
- Implementar processos de ETL e ELT para integrar múltiplas fontes de informação
- Projetar e gerenciar arquiteturas de Data Lake e Lakehouse
- Monitorar pipelines de dados para garantir consistência, qualidade, rastreabilidade e segurança
- Preparar e otimizar conjuntos de dados para análises avançadas, relatórios e modelos de aprendizado de máquina
- Trabalhar com equipes de BI, análise e ciência de dados para melhorar o acesso às informações
- Definir e implementar governança de dados e controles de qualidade
- Implementar processos de integração contínua e entrega contínua para soluções de dados
- Projetar soluções escaláveis para processamento distribuído e grandes volumes de dados
- Identificar melhorias que otimizem custos, desempenho e tempos de processamento
- Avaliar novas tecnologias e melhores práticas para avançar a plataforma de dados
Requisitos
- Graduação em Engenharia de Sistemas, Engenharia Industrial, Engenharia Eletrônica, Engenharia Mecatrônica ou área relacionada
- De três a cinco anos de experiência como Engenheiro de Dados
- Proficiência avançada em SQL
- Experiência com Python ou Scala
- Experiência com processamento distribuído usando PySpark
- Experiência com Azure Databricks
- Experiência com Azure Data Factory
- Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2)
- Conhecimento de Delta Lake
- Experiência com arquiteturas Lakehouse
- Conhecimento da arquitetura Medallion
- Experiência com modelagem dimensional
- Experiência com bancos de dados relacionais
- Experiência com bancos de dados NoSQL
- Conhecimento de governança e qualidade de dados
- Experiência com Unity Catalog
- Experiência com Delta Live Tables (DLT)
- Conhecimento de Great Expectations
- Experiência com processamento de streaming por meio do Event Hubs
- Experiência com Azure DevOps e Git
- Conhecimento de Entra ID
- Conhecimento de RBAC
- Proficiência em Power BI
- Proficiência em Visual Studio Code
- Experiência com integração de dados e processos de ETL/ELT
- Experiência em análise e modelagem de dados
- Certificações de Azure Data Engineering são um diferencial
- Experiência em projetos de inteligência artificial e aprendizado de máquina é um diferencial
- Conhecimento de DataOps e automação de plataformas de dados é um diferencial
Benefícios
- Horário de trabalho flexível
- Trabalho remoto
- Plano personalizado de desenvolvimento de carreira
- Programas de treinamento
- Trabalho em equipes multidisciplinares
- Equipe global diversificada
- Projetos de alto impacto com clientes líderes do setor