Sigma Software Group
Sigma Software Group
1.001 – 5.000 Funcionários
AutomotivoConsultoriaCuidados de saúde
A Sigma Software Group é uma empresa multinacional de consultoria em tecnologia fundada em 2002. Suas equipes oferecem desenvolvimento de software, design gráfico, testes e suporte técnico para clientes de setores como automotivo, saúde, telecomunicações, aviação, bancos, jogos, mercado imobiliário e publicidade. A empresa contrata especialistas em TI para trabalhar em projetos complexos de engenharia e apoia o desenvolvimento profissional por meio de mentoria e aprendizado contínuo. O trabalho remoto faz parte de seu modelo de trabalho, com projetos para organizações como AstraZeneca, Scania e SAS.

Engenheiro(a) sênior de dados, migração para Databricks

Migre a análise de dados de uma grande empresa do varejo do BigQuery para o Databricks Lakehouse, criando pipelines PySpark escaláveis, arquitetura medalhão e plataformas de dados em nuvem com governança.

Descrição

  • Ajude a migrar uma plataforma de análise de dados em larga escala do BigQuery para o Databricks.
  • Projete e desenvolva arquiteturas Lakehouse escaláveis com Databricks e Delta Lake.
  • Avalie as cargas de trabalho ETL e ELT existentes e defina abordagens de migração.
  • Desenvolva e otimize pipelines para grandes volumes de dados do varejo e analíticos.
  • Implemente estratégias de processamento incremental e estruturas escaláveis de transformação.
  • Desenvolva e mantenha soluções de processamento de dados com Spark usando PySpark.
  • Projete e mantenha as camadas medalhão Bronze, Silver e Gold.
  • Aplique práticas de governança e segurança de dados com o Unity Catalog.
  • Trabalhe com as equipes de Ciência de Dados, Análise de Dados, Produto e Engenharia de Clientes.
  • Contribua para discussões de arquitetura e o desenho de soluções técnicas.
  • Crie componentes reutilizáveis para a plataforma de dados e padrões de engenharia.
  • Revise código e melhore a confiabilidade e a facilidade de manutenção da plataforma.
  • Investigue problemas e otimize cargas de trabalho complexas de SQL e Spark.
  • Dê suporte a implantações em produção e à modernização da plataforma.

Requisitos

  • Tenha pelo menos cinco anos de experiência profissional como engenheiro(a) de dados.
  • Tenha fortes habilidades de programação em Python e domínio avançado de SQL.
  • Tenha experiência prática e comercial com Databricks.
  • Tenha sólidos conhecimentos de Apache Spark, especialmente PySpark.
  • Tenha experiência no desenho e desenvolvimento de plataformas modernas de dados em nuvem.
  • Tenha experiência no desenvolvimento de pipelines ETL e ELT e soluções de processamento de dados em larga escala.
  • Tenha experiência prática com Delta Lake.
  • Tenha experiência com Spark Declarative Pipelines.
  • Tenha experiência no monitoramento de clusters, na análise de métricas e na otimização de desempenho.
  • Compreenda arquiteturas de processamento de dados distribuídos.
  • Compreenda conceitos de data warehousing e modelagem dimensional.
  • Tenha experiência com Airflow ou uma ferramenta de orquestração comparável.
  • Tenha experiência na otimização de cargas analíticas complexas em SQL.
  • Tenha experiência na aplicação de práticas de CI/CD a plataformas de engenharia de dados.
  • Tenha habilidade para solucionar problemas e otimizar o desempenho.
  • Trabalhe bem com equipes internacionais e multidisciplinares.
  • Tenha proficiência em inglês no nível intermediário superior ou acima.

Benefícios

  • O trabalho remoto está disponível para os funcionários.
  • Oportunidades de aprendizado contínuo.
  • Oportunidades de crescimento junto com a tecnologia.
  • Impacto significativo por meio do trabalho de engenharia.
  • Trabalho em projetos internacionais complexos.

Vagas relacionadas

Intetics

Engenheiro(a) de dados de ML, remoto na Romênia

Intetics
501 – 1.000 Funcionários
ConsultoriaCuidados de saúdeLogística

Crie uma infraestrutura de dados em tempo real, de grafos e de séries temporais para o desempenho de atletas. Dê suporte à avaliação de aprendizado de máquina e a sistemas de IA para um cliente da Intetics nos Estados Unidos.

Abrir
AllCloud

Engenheiro de dados com hebraico

AllCloud

Desenvolva plataformas lakehouse na AWS, pipelines de dados e soluções de IA para os clientes de consultoria em nuvem da AllCloud. Projete arquiteturas escaláveis e ajude os clientes a modernizar seus sistemas de dados.

Abrir