KAYAK — это платформа для поиска и сравнения вариантов путешествий, которая помогает планировать поездки, сопоставляя рейсы, отели и автомобили напрокат на сотнях туристических сайтов. На сайте и в мобильном приложении путешественники могут уточнять результаты с помощью практичных параметров, отслеживать цены через уведомления и организовывать планы в KAYAK Trips. Благодаря мобильным тарифам и уведомлениям о поездках KAYAK помогает принимать более взвешенные решения при бронировании, сохраняя поиск вариантов путешествия в одном месте.
Ведущий инженер платформы данных, KAYAK — гибридный формат работы в Берлине
Руководите развитием общей платформы данных KAYAK для аналитики, машинного обучения и поиска путешествий на основе ИИ. Создавайте масштабируемую инфраструктуру потоковой обработки, lakehouse, метаданных и запросов.
Описание
- Развивайте общую платформу данных KAYAK, охватывающую потоковую обработку в режиме, близком к реальному времени, хранение в lakehouse, управление схемами, семантические уровни и распределённую инфраструктуру запросов
- Руководите инициативами платформы: от определения исходной задачи и архитектуры до реализации, запуска и передачи в эксплуатацию
- Устанавливайте технические стандарты для контрактов данных, эволюции схем, практик загрузки данных и готовности к эксплуатации
- Создавайте повторно используемые архитектуры для потоковой загрузки, компактизации, хранения, управления схемами, наблюдаемости и распространённых задач инженерии данных
- Внедряйте наблюдаемость платформы с помощью мониторинга конвейеров, отслеживания задержки потребителей, проверки качества данных и оповещений
- Сотрудничайте с командами эксплуатации, безопасности, разработки, инженерии данных и продукта, развивая платформу с учётом потребностей пользователей
- Руководите стратегиями семантического уровня и метаданных, обеспечивающими согласованную аналитику самообслуживания и надёжный доступ ИИ к данным
- Оценивайте технологии и архитектурные подходы в области потоковой обработки, хранения, выполнения запросов, оркестрации и облачной инфраструктуры
- Наставляйте инженеров посредством проектных и код-ревью, совместной разработки и создания повторно используемых технических рекомендаций
- Решайте сложные архитектурные и эксплуатационные проблемы, связанные с восстановлением, расхождением схем, управлением секционированием и снижением производительности
Требования
- Не менее семи лет профессионального опыта в инженерии данных, включая значительный опыт на уровне senior или staff с технической зоной ответственности в масштабе всей организации
- Опыт проектирования и эксплуатации крупномасштабных lakehouse-архитектур с использованием таких технологий, как Apache Iceberg, Parquet и облачное объектное хранилище
- Практический опыт создания и эксплуатации потоковых конвейеров с событийной загрузкой, семантикой exactly-once, управлением задержкой потребителей, контрольными точками, восстановлением и обработкой сбоев
- Практический опыт работы с контрактами данных, управлением схемами, системами метаданных или семантическими уровнями
- Уверенные навыки программирования на Python и опыт создания сопровождаемого, тестируемого промышленного кода
- Опыт развёртывания и эксплуатации рабочих нагрузок данных в Kubernetes, включая контейнеризированную инфраструктуру, настройку ресурсов и проверки работоспособности
- Умение влиять на несколько команд, объяснять архитектурные компромиссы и руководить внедрением
- Опыт наставничества инженеров и повышения технических стандартов посредством ревью, документации и повторно используемых шаблонов
- Готовность брать на себя ответственность за широкие и неоднозначные технические области
- Опыт работы с распределёнными системами выполнения запросов, такими как Trino
- Опыт работы с инструментами оркестрации рабочих процессов, такими как Apache Airflow
- Опыт использования AWS или сопоставимой публичной облачной платформы
- Опыт работы с инструментами CI/CD и автоматизации развёртывания, такими как GitHub Actions
- Рабочее знание Java или другого языка на базе JVM
Преимущества
- Работа практически из любой точки мира до 20 дней в году
- Оплачиваемые компанией сеансы терапии через SpringHealth
- Оплачиваемая компанией подписка Headspace
- Еженедельная общекорпоративная неделя отдыха
- Пятницы без встреч
- Оплачиваемый отпуск по уходу за ребёнком
- Оплачиваемое время для волонтёрства
- Бюджет на профессиональное развитие
- Возможности развития лидерских навыков
- Доступ к тысячам курсов электронного обучения по запросу
- Скидки на путешествия
- Группы поддержки сотрудников
- Шесть недель оплачиваемого отпуска и выходной в день рождения
- Бесплатные обеды два раза в неделю
- Взносы в пенсионный план
- Субсидии на общественный транспорт
- Программа лизинга велосипедов
- Ежемесячные общественные мероприятия, счастливые часы по четвергам и спортивные команды
- Офис во Фридрихсхайне, Берлин