資深資料平台工程師,KAYAK - 柏林混合辦公
引領 KAYAK 共用資料平台的發展,支援分析、機器學習與 AI 驅動的旅遊搜尋。 打造可擴充的串流處理、湖倉、詮釋資料與查詢基礎架構。
說明
- 負責 KAYAK 共用資料平台的建設,涵蓋近即時串流處理、湖倉儲存、結構描述管理、語意層與分散式查詢基礎架構
- 領導平台計畫,從最初的問題定義與架構設計,到實作、推出與營運交接
- 制定資料契約、結構描述演進、資料擷取實務與正式環境就緒方面的技術標準
- 為串流擷取、壓縮、保留、結構描述治理、可觀測性以及常見資料工程挑戰建立可重複使用的架構
- 透過管線監控、消費者延遲追蹤、資料品質驗證與警示,實作平台可觀測性
- 與營運、安全、工程、資料工程及產品團隊合作,依照使用者需求持續發展平台
- 領導語意層與詮釋資料策略,支援一致的自助式分析與可信賴的 AI 資料存取
- 評估串流處理、儲存、查詢、編排與雲端基礎架構領域的技術及架構方案
- 透過設計與程式碼審查、結對協作以及可重複使用的技術指導,培育工程師
- 解決涉及復原、結構描述漂移、分割區管理與效能下降的複雜架構及營運問題
職位要求
- 至少七年專業資料工程經驗,其中包括大量資深或首席層級工作,並具備組織範圍的技術影響力
- 具備使用 Apache Iceberg、Parquet 與雲端物件儲存等技術設計及營運大規模湖倉架構的經驗
- 具備建置及執行正式環境串流管線的經驗,包括事件驅動擷取、恰好一次語意、消費者延遲管理、檢查點、復原與故障處理
- 具備資料契約、結構描述治理、詮釋資料系統或語意層的實務經驗
- 具備扎實的 Python 程式設計能力,以及交付可維護、可測試正式環境程式碼的經驗
- 具備在 Kubernetes 上部署及營運資料工作負載的經驗,包括容器化基礎架構、資源調校與健康檢查
- 能夠影響多個團隊、說明架構取捨並帶動採用
- 具備透過審查、文件與可重複使用模式指導工程師並改善技術標準的經驗
- 願意負責範圍廣泛且定義不明確的技術問題領域
- 具備 Trino 等分散式查詢引擎的經驗
- 具備 Apache Airflow 等工作流程編排工具的經驗
- 具備 AWS 或同類公有雲平台的使用經驗
- 具備 GitHub Actions 等 CI/CD 與部署自動化工具的經驗
- 具備 Java 或其他 JVM 型語言的工作知識
福利待遇
- 每年最多可在幾乎任何地點工作 20 天
- 公司透過 SpringHealth 提供心理治療課程
- 公司提供 Headspace 訂閱
- 每年享有一週全公司休假
- 週五不安排會議
- 帶薪育嬰假
- 帶薪志願服務時間
- 個人發展經費
- 領導力發展機會
- 可使用數千門隨選線上學習課程
- 旅遊折扣
- 員工資源團體
- 六週帶薪休假,另加生日當天休假
- 每週兩天免費午餐
- 退休金計畫提撥
- 大眾運輸補助
- 自行車租賃計畫
- 每月社交活動、週四歡樂時光與運動團隊
- 辦公地點位於柏林腓特烈斯海因
