
A Applaudo é uma empresa de desenvolvimento de software nearshore focada em ajudar organizações a modernizar sua tecnologia e avançar em sua transformação digital. Fundada em 2013, a empresa combina experiência em engenharia de software e consultoria em áreas como inovação e design de experiências, desenvolvimento e manutenção de aplicações, garantia de qualidade, soluções em nuvem, inteligência artificial, cibersegurança, soluções de dados e modernização de aplicações. A Applaudo atende clientes de setores como esportes, mídia e entretenimento, varejo, bens de consumo embalados e serviços financeiros, apoiando projetos que aprimoram produtos digitais, infraestrutura e a entrega de serviços de TI. Com sede em Austin, Texas, e um escritório em San Salvador, a Applaudo reúne uma equipe de 501 a 1.000 funcionários que atende empresas em todo o setor de tecnologia e serviços digitais.
Engenheiro(a) sênior de dados com Azure Databricks
Desenvolva pipelines com Azure Databricks e Python para as soluções empresariais de IA da Applaudo. Conecte dados de negócios a hubs e data warehouses escaláveis e confiáveis.
Descrição
- Desenvolva e mantenha pipelines de dados prontos para produção com Azure Databricks e Python.
- Crie transformações escaláveis usando PySpark ou Spark SQL.
- Ingira e processe dados de APIs, bancos de dados relacionais, armazenamento em nuvem e SFTP.
- Conecte plataformas empresariais de chamados, CRM, marketing, varejo e outras a um Data Hub centralizado.
- Desenvolva e mantenha estruturas de data warehouse, modelos dimensionais e data marts.
- Escreva, otimize e mantenha transformações SQL.
- Adicione validações de qualidade de dados e verificações de consistência.
- Desenvolva e mantenha fluxos de dados de saída para sistemas de terceiros.
- Investigue divergências nos dados e resolva problemas nos pipelines.
- Documente pipelines, lógica de transformação, dependências e processos técnicos.
- Trabalhe com colegas e partes interessadas para esclarecer requisitos e identificar riscos.
- Compartilhe antecipadamente o andamento, os impedimentos e possíveis atrasos, e proponha medidas para manter as entregas dentro do prazo.
Requisitos
- Pelo menos cinco anos de experiência profissional em engenharia de dados.
- Sólida experiência prática com Azure Databricks.
- Conhecimento avançado de Python para processamento e transformação de dados e desenvolvimento de pipelines.
- Experiência sólida com Apache Spark, incluindo PySpark e/ou Spark SQL.
- Conhecimento avançado de SQL, incluindo transformações complexas, validação de dados e otimização do desempenho de consultas.
- Sólido conhecimento de data warehousing e modelagem dimensional, incluindo fatos, dimensões e data marts.
- Experiência integrando dados de APIs REST, bancos de dados relacionais, armazenamento em nuvem e SFTP.
- Experiência prática com serviços de dados do Microsoft Azure para ingestão, armazenamento, processamento e integração.
- Experiência na implementação de verificações de qualidade de dados e na validação da consistência entre sistemas de origem e modelos de dados de destino.
- Capacidade de diagnosticar falhas em pipelines, investigar divergências nos dados e implementar correções confiáveis.
- Fortes habilidades analíticas, de resolução de problemas e organização.
- Capacidade de trabalhar de forma independente, assumir responsabilidades e seguir boas práticas de engenharia e padrões de documentação.
- Boa comunicação em inglês e capacidade de trabalhar com uma equipe sediada nos Estados Unidos.
- Experiência na migração de cargas de trabalho baseadas em SQL para Azure Databricks é um diferencial.
Benefícios
- Opção de trabalhar remotamente.
- Oportunidades para aprender rapidamente e trabalhar com equipes qualificadas.
- Práticas de trabalho modernas.
- Contribuir para a transformação baseada em IA em grande escala.
Vagas relacionadas
Nenhuma vaga encontrada
Tente ajustar ou limpar os filtros para encontrar mais oportunidades.