KAYAK е платформа за търсене и сравняване на пътувания, която помага на хората да планират пътувания, като сравнява полети, хотели и автомобили под наем в стотици туристически сайтове. Уебсайтът и мобилното приложение позволяват на пътуващите да прецизират резултатите с практични предпочитания, да следят цените чрез известия и да организират плановете си с KAYAK Trips. С мобилни цени и известия за пътувания KAYAK подпомага по-информираните решения при резервация и събира проучването на пътуването на едно място.
Главен инженер на платформа за данни, KAYAK – хибридна работа в Берлин
Ръководете развитието на споделената платформа за данни на KAYAK, която поддържа анализи, машинно обучение и търсене на пътувания с изкуствен интелект. Изграждайте мащабируема инфраструктура за стрийминг, lakehouse, метаданни и заявки.
Описание
- Развивате споделената платформа за данни на KAYAK за стрийминг почти в реално време, lakehouse съхранение, управление на схеми, семантични слоеве и разпределена инфраструктура за заявки
- Ръководите инициативи за платформата от първоначалното дефиниране на проблема и архитектурата през внедряването и пускането в експлоатация до предаването за оперативна поддръжка
- Определяте технически стандарти за договори за данни, развитие на схеми, практики за приемане на данни и готовност за продукционна среда
- Създавате многократно използваеми архитектури за стрийминг приемане на данни, компактиране, съхранение за определен период, управление на схеми, наблюдаемост и общи предизвикателства в инженерството на данни
- Внедрявате наблюдаемост на платформата чрез мониторинг на pipeline-и, проследяване на изоставането на консуматорите, валидиране на качеството на данните и известия
- Партнирате си с екипите по Operations, Security, Engineering, Data Engineering и Product за развитието на платформата според нуждите на потребителите
- Ръководите стратегиите за семантичния слой и метаданните, които поддържат последователни самообслужващи анализи и надежден достъп на AI до данни
- Оценявате технологии и архитектурни подходи за стрийминг, съхранение, заявки, оркестрация и облачна инфраструктура
- Менторствате инженери чрез прегледи на дизайна и кода, работа по двойки и многократно използваеми технически насоки
- Решавате сложни архитектурни и оперативни проблеми, свързани с възстановяване, отклонения в схемите, управление на партиции и влошаване на производителността
Изисквания
- Поне седем години професионален опит в инженерството на данни, включително значителен опит на senior или staff ниво с технически обхват за цялата организация
- Опит в проектиране и експлоатация на мащабни lakehouse архитектури с технологии като Apache Iceberg, Parquet и облачно обектно хранилище
- Практически опит в продукционна среда с изграждане и експлоатация на стрийминг pipeline-и с приемане на данни, управлявано от събития, семантика exactly-once, управление на изоставането на консуматорите, checkpoint-и, възстановяване и обработка на откази
- Практически опит с договори за данни, управление на схеми, системи за метаданни или семантични слоеве
- Отлични умения по програмиране с Python и опит в доставянето на поддържаем, тестван продукционен код
- Опит с внедряване и експлоатация на работни натоварвания за данни в Kubernetes, включително контейнеризирана инфраструктура, настройване на ресурси и проверки на състоянието
- Способност да влияете на няколко екипа, да обяснявате архитектурни компромиси и да ръководите приемането на решения
- Опит в менториране на инженери и подобряване на техническите стандарти чрез прегледи, документация и многократно използваеми модели
- Готовност да поемате отговорност за широки и неясно дефинирани технически области
- Опит с разпределени двигатели за заявки като Trino
- Опит с инструменти за оркестрация на работни процеси като Apache Airflow
- Опит с AWS или сравнима публична облачна платформа
- Опит с инструменти за CI/CD и автоматизация на внедряването като GitHub Actions
- Работни познания по Java или друг език, базиран на JVM
Придобивки
- Работа почти отвсякъде до 20 дни годишно
- Финансирани от компанията терапевтични сесии чрез SpringHealth
- Финансиран от компанията абонамент за Headspace
- Една седмица почивка за цялата компания всяка година
- Петъци без срещи
- Платен родителски отпуск
- Платено време за доброволчество
- Бюджет за развитие
- Възможности за развитие на лидерски умения
- Достъп до хиляди онлайн курсове за обучение по заявка
- Отстъпки за пътувания
- Групи за подкрепа на служителите
- Шест седмици платен отпуск плюс почивен ден за рождения ви ден
- Безплатен обяд два дни седмично
- Вноски в пенсионен план
- Субсидии за обществен транспорт
- Програма за лизинг на велосипеди
- Месечни социални събития, четвъртъчни happy hour срещи и спортни отбори
- Офис в квартал Фридрихсхайн, Берлин