A Valtech é uma agência digital global que ajuda organizações a melhorar a experiência dos clientes e avançar em seus negócios digitais. Seu trabalho reúne tecnologia, marketing, dados e inteligência artificial para apoiar iniciativas de comércio, a transformação digital empresarial e um melhor desempenho de marketing. Com equipes e escritórios em todo o mundo, a Valtech trabalha em parceria com empresas em estratégia digital, inovação de experiências e uso prático de dados para construir futuros digitais mais eficazes.
Engenheiro(a) de Dados Sênior – Trabalho remoto em Portugal
Engenheiro(a) de Dados Sênior na Valtech, desenvolvendo plataformas de dados em nuvem que dão suporte a análises, IA e produtos de dados em produção. A função abrange pipelines escaláveis, arquitetura lakehouse, GenAI e sistemas de machine learning.
Descrição
- Projetar, desenvolver e aprimorar plataformas de dados em nuvem que apoiem análises, IA e produtos de dados
- Criar pipelines confiáveis em lote, de streaming e quase em tempo real para informações estruturadas e não estruturadas
- Desenvolver fluxos de trabalho para ingestão, transformação, curadoria e disponibilização de dados
- Implementar designs lakehouse e arquitetura medalhão com Databricks ou Fabric
- Produzir conjuntos de dados curados para análises, machine learning, modelagem causal, otimização, GenAI, RAG e aplicações baseadas em agentes
- Aplicar MLflow, Unity Catalog, Azure ML e ferramentas de plataforma comparáveis para dar suporte a sistemas de IA em produção
- Criar modelos de dados e coordenar fluxos de trabalho com Airflow, dbt, Databricks Workflows, Azure Data Factory ou ferramentas comparáveis
- Estabelecer práticas de governança de dados, linhagem, qualidade, controle de acesso e observabilidade
- Acompanhar a atualização dos dados, a confiabilidade dos pipelines, o desempenho dos SLAs, a escalabilidade, a eficiência e os custos
- Fornecer APIs, entradas de features e endpoints analíticos para aplicações downstream de machine learning e IA
- Esclarecer e aprimorar as necessidades de negócio por meio da colaboração e da análise com as partes interessadas
- Trabalhar em estreita colaboração com cientistas de dados, engenheiros de ML, analistas, equipes de plataforma e partes interessadas do negócio
- Ajudar a impulsionar a adoção de produtos de dados e avançar as práticas de dados e IA
Requisitos
- Experiência prática com Apache Spark e Delta Lake
- Sólidos conhecimentos de programação em Python e SQL
- Experiência comprovada na criação de pipelines em lote e de streaming e de plataformas de dados prontas para produção
- Sólido conhecimento de modelagem, qualidade e princípios de governança de dados
- Experiência prática com serviços de dados da AWS e Databricks Lakehouse, ou com Microsoft Azure/Fabric e ferramentas relacionadas
- Experiência com arquiteturas lakehouse e sistemas de dados distribuídos
- Forte compreensão de escalabilidade, confiabilidade e desempenho de pipelines
- Curiosidade e habilidades bem desenvolvidas de resolução de problemas
- Experiência colaborativa em equipes multifuncionais
- Experiência em ambientes ágeis ou de consultoria é um diferencial
- Familiaridade com Snowflake ou GCP é um diferencial, mas não é obrigatória
- Experiência em AWS e Azure/Fabric, GenAI e sistemas de dados para IA, CI/CD de pipelines de dados e infraestrutura como código é desejável, mas não obrigatória
- Experiência adicional com Kafka, otimização de Spark, cargas de trabalho avançadas de análise e machine learning ou plataformas de análise em grande escala é valiosa
Benefícios
- Flexibilidade para trabalho remoto e híbrido, dependendo do país
- Crescimento profissional por meio de mobilidade internacional e programas de desenvolvimento profissional
- Oportunidades de aprendizado com ferramentas atuais, treinamentos e especialistas do setor
- Pacote de remuneração competitivo