11 – 50 Funcionários
Patrocinador de visto de trabalhador qualificadoConsultoriaInteligência artificialA Simple Machines é uma empresa australiana de consultoria que atua em arquitetura e engenharia de dados, ciência de dados e desenvolvimento de software. Seus consultores projetam e desenvolvem plataformas de dados distribuídas e aplicações de aprendizado de máquina para empresas, órgãos governamentais e companhias globais de tecnologia. A equipe também oferece consultoria e treinamento em Kafka como parceira Preferred da Confluent, além de consultoria e treinamento em Spark e Scala por meio de suas parcerias com Databricks e Lightbend. Para quem busca oportunidades em engenharia de dados, ciência de dados ou desenvolvimento de software, a Simple Machines oferece um ambiente especializado em consultoria, com foco em aplicar dados a sistemas do mundo real.
Engenheiro(a) Principal de Dados (Remoto, Polônia)
Lidere a arquitetura e a entrega de plataformas de dados nativas em nuvem, pipelines e produtos de dados para a Simple Machines, uma consultoria global de tecnologia. Defina a direção técnica e trabalhe em parceria com clientes, em regime remoto na Polônia.
Descrição
- Lidere a arquitetura de plataformas modernas de dados nativas em nuvem, do projeto à entrega.
- Crie ecossistemas de dados escaláveis com data mesh, produtos de dados e contratos de dados.
- Defina a arquitetura de ingestão, armazenamento, processamento e acesso a dados.
- Garanta que as plataformas atendam aos padrões de segurança, conformidade e prontidão para produção.
- Entregue plataformas nativas em nuvem com Databricks, Snowflake, AWS e GCP.
- Conecte os sistemas dos clientes para oferecer acesso escalável aos dados.
- Crie e otimize pipelines de dados em lote e em tempo real.
- Use Kafka, Flink, Kinesis e Pub/Sub para streaming e troca de mensagens.
- Coordene fluxos de trabalho com Airflow, Dataflow e Glue.
- Processe e transforme grandes conjuntos de dados com Spark e Flink.
- Trabalhe com bancos de dados relacionais, NoSQL e analíticos, incluindo Postgres, BigQuery, Snowflake, Cassandra e MongoDB.
- Aprimore formatos de armazenamento e padrões de acesso com Parquet, Delta, ORC e Avro.
- Crie soluções seguras e em conformidade, considerando a segurança desde o início.
- Integre a governança de dados sem desacelerar os fluxos de trabalho de desenvolvimento.
- Colabore diretamente com clientes para entender desafios e elaborar soluções.
- Transforme requisitos de negócio em decisões práticas de engenharia.
- Oriente clientes como parceiro técnico de confiança.
- Defina padrões, modelos e práticas de engenharia.
- Revise projetos e código, oferecendo orientação técnica e mentoria.
- Fortaleça a qualidade dos dados, os testes, a observabilidade e as práticas operacionais.
Requisitos
- Tenha sólidos conhecimentos de Python e SQL.
- Tenha ampla experiência com Spark e plataformas modernas de dados, como Databricks ou Snowflake.
- Conheça os serviços de dados em nuvem da AWS ou do GCP.
- Tenha sido responsável pela arquitetura de plataformas de dados em grande escala.
- Aplique sólidos conhecimentos de modelagem de dados e tome decisões arquiteturais bem fundamentadas.
- Equilibre desempenho, custo e complexidade ao escolher soluções.
- Tenha criado e operado pipelines de dados de produção em grande escala.
- Tenha experiência com várias tecnologias de armazenamento e formatos de dados.
- Use ferramentas de infraestrutura como código, como Terraform ou Pulumi.
- Tenha criado pipelines de CI/CD com ferramentas como GitHub Actions ou ArgoCD.
- Tenha usado frameworks de teste e qualidade de dados, como dbt, Great Expectations ou Soda.
- Tenha experiência em consultoria ou serviços profissionais.
- Saiba questionar premissas e conduzir clientes a resultados melhores.
- Sinta-se à vontade para orientar engenheiros seniores e ajudar a moldar a cultura técnica.
Benefícios
- Trabalhe em desafios complexos com impacto significativo.
- Crie plataformas modernas em vez de manter sistemas legados.
- Colabore com engenheiros experientes.
- Tenha autonomia e influência no seu trabalho.
- Conte com oportunidades de desenvolvimento profissional.