A KAYAK é uma plataforma de busca e comparação de viagens que ajuda as pessoas a planejarem suas viagens comparando voos, hotéis e carros para alugar em centenas de sites de viagem. Seu site e aplicativo permitem que os viajantes refinem os resultados de acordo com suas preferências, acompanhem preços por meio de alertas e organizem seus planos com o KAYAK Trips. Com tarifas para dispositivos móveis e notificações de viagem, a KAYAK contribui para decisões de reserva mais informadas e mantém a pesquisa da viagem em um só lugar.
Engenheiro principal de plataforma de dados, KAYAK - Berlim híbrido
Lidere a evolução da plataforma de dados compartilhada da KAYAK para análises, machine learning e busca de viagens com IA. Construa infraestrutura escalável de streaming, lakehouse, metadados e consultas.
Descrição
- Dê forma à plataforma de dados compartilhada da KAYAK abrangendo streaming quase em tempo real, armazenamento lakehouse, gerenciamento de esquemas, camadas semânticas e infraestrutura distribuída de consultas
- Lidere iniciativas da plataforma desde a definição inicial do problema e da arquitetura até a implementação, o lançamento e a transferência para operações
- Defina padrões técnicos para contratos de dados, evolução de esquemas, práticas de ingestão e prontidão para produção
- Crie arquiteturas reutilizáveis para ingestão por streaming, compactação, retenção, governança de esquemas, observabilidade e desafios comuns de engenharia de dados
- Implemente a observabilidade da plataforma por meio do monitoramento de pipelines, acompanhamento do atraso de consumidores, validação da qualidade dos dados e alertas
- Trabalhe em parceria com Operações, Segurança, Engenharia, Engenharia de Dados e Produto para evoluir a plataforma em torno das necessidades dos usuários
- Lidere estratégias de camada semântica e metadados que ofereçam análises de autosserviço consistentes e acesso confiável da IA aos dados
- Avalie tecnologias e abordagens arquiteturais para streaming, armazenamento, consultas, orquestração e infraestrutura em nuvem
- Oriente engenheiros por meio de revisões de design e código, programação em parceria e orientações técnicas reutilizáveis
- Resolva problemas arquiteturais e operacionais complexos envolvendo recuperação, divergência de esquemas, gerenciamento de partições e degradação de desempenho
Requisitos
- Pelo menos sete anos de experiência profissional em engenharia de dados, incluindo experiência substancial em nível sênior ou principal com escopo técnico em toda a organização
- Experiência no design e na operação de arquiteturas lakehouse de grande escala usando tecnologias como Apache Iceberg, Parquet e armazenamento de objetos em nuvem
- Experiência em produção construindo e operando pipelines de streaming com ingestão orientada a eventos, semântica exatamente uma vez, gerenciamento do atraso de consumidores, checkpointing, recuperação e tratamento de falhas
- Experiência prática com contratos de dados, governança de esquemas, sistemas de metadados ou camadas semânticas
- Sólidos conhecimentos de programação em Python e experiência entregando código de produção sustentável e testável
- Experiência implantando e operando cargas de trabalho de dados no Kubernetes, incluindo infraestrutura conteinerizada, ajuste de recursos e verificações de integridade
- Capacidade de influenciar várias equipes, explicar trade-offs arquiteturais e liderar a adoção
- Experiência orientando engenheiros e aprimorando padrões técnicos por meio de revisões, documentação e padrões reutilizáveis
- Disposição para assumir a responsabilidade por áreas técnicas amplas e ambíguas
- Experiência com mecanismos de consulta distribuída como Trino
- Experiência com ferramentas de orquestração de workflows como Apache Airflow
- Experiência usando AWS ou uma plataforma de nuvem pública comparável
- Experiência com ferramentas de CI/CD e automação de deploy como GitHub Actions
- Conhecimento prático de Java ou outra linguagem baseada em JVM
Benefícios
- Trabalhe de praticamente qualquer lugar por até 20 dias por ano
- Sessões de terapia custeadas pela empresa por meio da SpringHealth
- Assinatura da Headspace custeada pela empresa
- Uma semana de folga para toda a empresa todos os anos
- Sextas-feiras sem reuniões
- Licença parental remunerada
- Tempo remunerado para voluntariado
- Verba para desenvolvimento
- Oportunidades de desenvolvimento de liderança
- Acesso a milhares de cursos de aprendizagem on-line sob demanda
- Descontos em viagens
- Grupos de recursos para funcionários
- Seis semanas de férias remuneradas mais um dia de folga no seu aniversário
- Almoço gratuito dois dias por semana
- Contribuições para plano de pensão
- Subsídios para transporte público
- Programa de leasing de bicicletas
- Eventos sociais mensais, happy hours às quintas-feiras e equipes esportivas
- Escritório em Friedrichshain, Berlim