資深資料工程師——Apache Spark（遠端，埃及）
負責開發與最佳化 Apache Spark 批次管線，以實現可擴充的資料處理。 建構湖倉資料，並協助維護可靠的分析工作流程。
說明
- 開發與運作高容量批次資料管線，確保資料集持續擴大時仍維持效率並控制成本。
- 使用 Apache Spark 建立與維護可擴充的資料處理工作負載。
- 調校管線效能，以支援可靠且高效的執行。
- 參與以分析為導向的資料模型設計。
- 建構湖倉資料，供下游實際使用。
- 管理自動排程、監控與資料品質驗證。
- 與平台及產品團隊合作，交付完整的資料流程。
職位要求
- 具備經實務驗證的 Apache Spark 專業能力，包括在受管理筆記本環境之外進行效能調校的經驗。
- 具備設計分析資料模型，以及建構供下游取用之湖倉資料的經驗。
- 具備自動排程、管線監控與資料品質驗證經驗。
- 能夠與平台及產品團隊合作，協作涵蓋端到端的資料流程。
- 熟悉 Apache Iceberg 或同類型的開放式資料表格式。
- 具備 Trino 或類似查詢引擎的經驗。
- 具備使用內部部署或自行管理叢集的工作經驗。