資深資料工程師，Databricks 遷移
將大型零售分析平台從 BigQuery 遷移至 Databricks，打造 Lakehouse 架構、Spark 資料管線及具備治理機制的資料解決方案。
說明
- 協助將大型分析平台從 BigQuery 遷移至 Databricks。
- 使用 Databricks 和 Delta Lake 設計並建置可擴充的 Lakehouse 架構。
- 評估現有 ETL 和 ELT 工作負載，並制定遷移計畫。
- 開發並調校用於處理大量零售及分析資料的管線。
- 制定增量處理策略並建置可擴充的轉換架構。
- 使用 PySpark 建置並維護 Spark 資料處理解決方案。
- 設計並維護獎章式架構中的 Bronze、Silver 和 Gold 層。
- 使用 Unity Catalog 落實資料治理與安全實務。
- 與資料科學、分析、產品及客戶工程團隊合作。
- 參與架構討論及技術解決方案設計。
- 建立可重複使用的資料平台元件及工程標準。
- 審查程式碼，提升平台的可靠性與可維護性。
- 診斷並最佳化複雜的 SQL 和 Spark 工作負載。
- 支援正式環境發布及平台現代化工作。
職位要求
- 至少五年專業資料工程經驗。
- 具備扎實的 Python 技能及進階 SQL 能力。
- 具備 Databricks 商業專案實務經驗。
- 深入了解 Apache Spark，尤其是 PySpark。
- 具備設計及建置現代雲端資料平台的經驗。
- 具備開發 ETL 或 ELT 管線及大規模資料處理解決方案的經驗。
- 具備 Delta Lake 實務經驗。
- 具備 Spark Declarative Pipelines 使用經驗。
- 具備監控叢集、分析指標及最佳化效能的經驗。
- 深入了解分散式資料處理架構。
- 熟悉資料倉儲及維度建模。
- 具備 Airflow 或類似協調工具的使用經驗。
- 具備調校複雜分析型 SQL 工作負載的經驗。
- 具備為資料工程平台導入 CI/CD 實務的經驗。
- 具備優異的疑難排解及效能最佳化能力。
- 能在國際環境中與跨職能團隊合作。
- 英語程度達中高級或以上。
福利待遇
- 持續學習的機會。
- 精進技術專長的機會。
- 透過工程工作帶來有意義的影響。
- 參與複雜的國際專案。
