資料工程師(PySpark 與 Databricks)
使用 PySpark 和 SQL 在 Databricks 上建置資料管線, 為分析與機器學習團隊打造可靠且治理完善的資料集。
說明
- 使用 PySpark 和 SQL 開發 ETL 與 ELT 管線,以處理大規模資料
- 建置並最佳化 Databricks 工作流程,包括筆記本、工作與叢集設定
- 與分析和機器學習團隊合作,提供整潔且附有文件說明的資料集
- 追蹤管線效能、排除故障,並維護資料品質與完整性
- 建立資料治理機制與平台最佳實務
- 參與設計審查與架構決策
職位要求
- 具備 4–6 年資料工程或相關領域的實務經驗
- 能熟練運用 PySpark 進行大規模分散式處理
- 精通進階 SQL,包括查詢最佳化、視窗函式、CTE 與複雜聯結
- 具備扎實的 Databricks、Delta Lake 與工作流程經驗;熟悉 Unity Catalog 者優先
- 具備 AWS 或 Azure 雲端平台經驗
- 具備 PySpark、SQL、Databricks、AWS、Azure、Python 和 Git 等核心技能
- 具備 Apache Kafka 或 Spark Streaming 等串流工具經驗者優先
- 接觸過機器學習管線與特徵工程工作流程者優先
