Swoop
Swoop
A Swoop desenvolve soluções de marketing para organizações farmacêuticas e de ciências da vida, com foco no relacionamento direto com consumidores e profissionais de saúde. Seu trabalho combina inteligência artificial, dados e campanhas omnicanal que priorizam a privacidade para conectar pacientes, profissionais e marcas em canais como redes sociais e televisão. A empresa aplica essa abordagem para melhorar a eficácia do marketing e apoiar uma comunicação em saúde mais centrada no paciente.

Engenheiro(a) de Dados Sênior na Swoop – Híbrido na Califórnia

Lidere a plataforma de dados da NimbleRx dentro do negócio de engajamento em saúde orientado por IA da Swoop. Construa pipelines em conformidade, modelos de data warehouse e sistemas de desempenho para processos em lote, streaming e serviços de backend.

Descrição

  • Assumir a responsabilidade por toda a plataforma de dados, da ingestão e transformação ao armazenamento, às consultas e ao acesso
  • Definir o roadmap da plataforma de dados à medida que os requisitos de dados da empresa aumentam
  • Desenvolver e aprimorar pipelines em lote e de streaming com PySpark, EMR, Kinesis, Lambda e Step Functions
  • Levar dados do Postgres, Salesforce, fornecedores externos e eventos do produto para um data lake baseado em Iceberg
  • Estabelecer tabelas SCD, modelos de eventos e padrões de dados compartilhados para as equipes de engenharia e analytics
  • Trabalhar com produto, engenharia, analytics e operações para transformar necessidades de dados em pipelines confiáveis
  • Criar documentação e ferramentas que apoiem o uso self-service dos dados
  • Liderar a segurança e a conformidade dos dados, incluindo trilhas de auditoria, controles de acesso e processos de acesso temporário
  • Melhorar o desempenho de consultas de backend por meio de roteamento para réplicas, indexação, cache e instrumentação de E/S em serviços Java e Spring
  • Diagnosticar e resolver picos de IOPS, indisponibilidade de pipelines, alterações de esquema e atrasos nos dados
  • Aplicar IA à criação da estrutura de pipelines, ao desenvolvimento de esquemas e às investigações, além de desenvolver ferramentas internas de IA
  • Orientar engenheiros e analistas no uso eficaz da plataforma de dados

Requisitos

  • Pelo menos cinco anos de experiência entregando pipelines e plataformas de dados em produção
  • Conhecimentos avançados de Python, PySpark e SQL, incluindo ajuste de desempenho do Spark em escala
  • Capacidade e disposição para desenvolver serviços em torno da camada de dados usando Java e Spring Boot
  • Experiência prática com processamento distribuído, como Spark e EMR, streaming com Kinesis e armazenamento de objetos no S3
  • Sólida experiência com Postgres, incluindo otimização de consultas, indexação, replicação, roteamento para réplicas e análise de gargalos de banco de dados
  • Experiência com Iceberg e Trino ou tecnologias comparáveis
  • Conhecimento prático de práticas de CI/CD e Terraform
  • Experiência na criação de soluções baseadas em IA com modelos de fronteira ou ferramentas de programação agêntica
  • Capacidade comprovada de colaborar com produto, operações e outras equipes
  • Experiência profissional tratando a segurança e a conformidade de PII/PHI como responsabilidades essenciais de engenharia

Benefícios

  • Oportunidades de desenvolvimento profissional e crescimento na carreira
  • A empresa foi reconhecida como um dos melhores lugares para trabalhar; esse reconhecimento não é um benefício de compensação individual