Allata
Allata
A Allata é uma consultoria global que ajuda organizações a transformar estratégias digitais em melhorias práticas para os negócios. Suas equipes atuam em estratégia, experiência do cliente, nuvem e tecnologia, dados e inteligência artificial, apoiando clientes em iniciativas de modernização, personalização e eficiência operacional. A Allata atende setores como automotivo, saúde, logística, serviços financeiros e alta tecnologia, com a experiência de ex-líderes de TI e profissionais de consultoria para orientar iniciativas digitais complexas.

Gerente de plataforma de dados Databricks (remoto, Texas)

Lidere a arquitetura e a entrega de plataformas Lakehouse governadas e data warehouses corporativos para a Allata. Oriente os pipelines de dados, a segurança, a escalabilidade e o desenvolvimento de produtos de dados.

Descrição

  • Defina a arquitetura, as tecnologias, os padrões de referência e os projetos de integração para plataformas Lakehouse e data warehouses corporativos.
  • Crie modelos conceituais, lógicos e físicos para produtos de dados multi-inquilino e específicos de cada setor.
  • Padronize as camadas de dados para ingestão, armazenamento bruto, curadoria e disponibilização para consumo.
  • Estabeleça práticas de governança para metadados, catálogos, linhagem, contratos de dados e classificação.
  • Defina controles de segurança e conformidade para acesso, mascaramento, criptografia, segmentação de rede e auditoria.
  • Planeje a escalabilidade da plataforma, alta disponibilidade, recuperação de desastres, capacidade e gestão de custos.
  • Lidere a seleção e a integração de Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory ou Data Fabric, além de ferramentas de orquestração e monitoramento.
  • Estabeleça e aplique práticas de CI/CD para ativos de dados, incluindo testes, lançamentos automatizados e planos de reversão.
  • Defina abordagens para ingestão em lote e em streaming, compactação, particionamento e armazenamento.
  • Estabeleça padrões de observabilidade para métricas, SLAs, painéis, logs, rastreamentos e alertas.
  • Ofereça liderança técnica e mentoria às equipes de engenharia de dados.
  • Revise a arquitetura e o código de componentes críticos.
  • Trabalhe com responsáveis por produtos de dados e partes interessadas de Segurança, Infraestrutura, BI e ML para transformar requisitos em soluções e roteiros.
  • Desenvolva, teste e implante módulos de processamento com Spark, PySpark ou Scala, Spark SQL e procedimentos armazenados.
  • Desenvolva e otimize pipelines de dados no Databricks e em plataformas de banco de dados.
  • Aplique práticas de DevOps, infraestrutura como código, CI/CD, testes automatizados e controle de versão.
  • Resolva problemas complexos de qualidade, desempenho e disponibilidade dos dados e promova melhorias contínuas.

Requisitos

  • Experiência anterior como arquiteto ou líder técnico de plataformas de dados corporativas.
  • Conhecimento prático das tecnologias Databricks, incluindo Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader e Structured Streaming.
  • Sólidos conhecimentos de Spark, PySpark e/ou Scala, Spark SQL e otimização de trabalhos distribuídos.
  • Experiência em projetos de data warehouse e Lakehouse.
  • Conhecimento prático dos padrões Medallion, Lambda e Kappa.
  • Experiência com integração de ferramentas SaaS, ETL ou conectores, como Fivetran.
  • Experiência com ferramentas de orquestração, como Airflow, Azure Data Factory e Data Fabric.
  • Experiência com bancos de dados relacionais e híbridos, incluindo MS SQL Server, PostgreSQL, Oracle, Azure SQL e AWS RDS/Aurora ou equivalentes.
  • Domínio de CI/CD para pipelines de dados usando Azure DevOps, GitHub Actions, Jenkins ou ferramentas similares.
  • Experiência em empacotar e implantar artefatos como arquivos .whl e contêineres.
  • Experiência com processamento em lote e em streaming, compactação de arquivos, particionamento e ajuste de armazenamento.
  • Conhecimento de segurança em nuvem, IAM/RBAC, criptografia, conceitos de VPC/VNet e redes em nuvem.
  • Familiaridade com ferramentas de observabilidade e monitoramento, como Prometheus, Grafana, Datadog ou serviços nativos de nuvem.
  • Experiência com automação de pipelines de CI/CD e desenvolvimento baseado em trunk será considerada um diferencial.
  • Conhecimentos avançados de PySpark serão considerados um diferencial.
  • Conhecimentos avançados de otimização e orquestração de fluxos de trabalho do Spark serão considerados um diferencial.
  • Certificações em Databricks, arquitetura em nuvem ou dados serão consideradas um diferencial.
  • Capacidade de identificar, diagnosticar e resolver problemas complexos de dados.
  • Sólidas habilidades de colaboração e comunicação.
  • Curiosidade e abertura para novas ferramentas, tecnologias e métodos.

Benefícios

  • Vaga em período integral.
  • Ambiente de trabalho inclusivo e com igualdade de oportunidades.
  • Compromisso com a diversidade.

Vagas relacionadas

The Athletic

Gerente Sênior de Análise de Dados

The Athletic

Lidere insights de produto para impulsionar o crescimento no The Athletic, uma empresa de mídia esportiva. Gerencie analistas e use experimentos para orientar decisões sobre assinaturas e produtos.

Abrir
Lunar Solar Group

Cientista de dados de mensuração de marketing (remoto, EUA)

Lunar Solar Group

Desenvolva modelos de atribuição, incrementalidade e mix de mídia para a Lunar Solar Group, uma consultoria de crescimento e agência de marketing digital. Transforme análises em recomendações práticas de orçamento para clientes.

Abrir
Airbnb

Cientista de Dados Sênior, Pesquisa em People Analytics

Airbnb

Lidere pesquisas de people analytics na Airbnb, usando inferência causal e modelagem estatística para embasar decisões sobre força de trabalho, remuneração, recrutamento e retenção. Trabalhe com as partes interessadas em análises e relatórios sensíveis.

Abrir
The Cigna Group

Líder sênior de desenvolvimento de dados, remoto (EUA)

The Cigna Group

Crie produtos de dados Silver e Gold reutilizáveis para os serviços de saúde da Cigna usando Databricks e pipelines de MVP e CI/CD com governança. Transforme necessidades de negócio em soluções de dados prontas para produção e estabeleça padrões em Operações de Dados.

Abrir
Clear Street

Cientista sênior de dados de crescimento

Clear Street

Aprimore a avaliação, a confiabilidade e a segurança do copiloto de IA da Clear Street. A função dá suporte a uma plataforma de corretagem e negociação nativa da nuvem para investidores sofisticados.

Abrir