資深資料工程師，Databricks 遷移
將企業零售分析平台從 BigQuery 遷移至 Databricks Lakehouse，建置可擴充的 PySpark 資料管線、獎章架構及受治理的雲端資料平台。
說明
- 協助將大型分析平台從 BigQuery 遷移至 Databricks。
- 使用 Databricks 和 Delta Lake 設計並建置可擴充的 Lakehouse 架構。
- 評估現有 ETL 和 ELT 工作負載，並制定遷移方式。
- 建置並最佳化處理大量零售及分析資料的管線。
- 實作增量處理策略和可擴充的轉換架構。
- 使用 PySpark 開發及維護 Spark 資料處理解決方案。
- 設計及維護 Bronze、Silver 和 Gold 獎章層。
- 使用 Unity Catalog 落實資料治理和安全實務。
- 與資料科學、分析、產品及客戶工程團隊合作。
- 參與架構討論和技術解決方案設計。
- 建立可重複使用的資料平台元件和工程標準。
- 審查程式碼，提升平台的可靠性和可維護性。
- 排解並最佳化複雜的 SQL 和 Spark 工作負載。
- 支援正式環境部署和平台現代化。
職位要求
- 具備至少五年資料工程師專業工作經驗。
- 具備扎實的 Python 程式設計能力和進階 SQL 技能。
- 具備 Databricks 商業專案實務經驗。
- 熟悉 Apache Spark，尤其是 PySpark。
- 具備現代雲端資料平台的設計和建置經驗。
- 具備 ETL 和 ELT 管線及大規模資料處理解決方案的開發經驗。
- 具備 Delta Lake 實務經驗。
- 具備 Spark Declarative Pipelines 使用經驗。
- 具備監控叢集、分析指標和最佳化效能的經驗。
- 了解分散式資料處理架構。
- 了解資料倉儲概念和維度模型。
- 具備 Airflow 或同類協作流程工具的使用經驗。
- 具備最佳化複雜分析型 SQL 工作負載的經驗。
- 具備將 CI/CD 實務應用於資料工程平台的經驗。
- 擅長疑難排解和效能最佳化。
- 能與跨職能的國際團隊有效合作。
- 英語程度達中高級或以上。
福利待遇
- 員工可遠端工作。
- 提供持續學習機會。
- 有機會隨技術發展持續成長。
- 透過工程工作帶來有意義的影響。
- 參與複雜的國際專案。
