
資深 Azure Databricks 資料工程師
於 AVANTTi 擔任資深資料工程師,建置 Azure Databricks 資料管線及 ETL/ELT 工作流程。 支援可擴充的企業資料系統,滿足分析與業務需求。
說明
- 使用 Azure Databricks、PySpark、Azure Data Factory、Python 和 Azure Data Lake 建置並最佳化資料管線。
- 開發及維護用於企業整合與分析的 ETL/ELT 工作流程。
- 從多個系統擷取、轉換、驗證及核對資料。
- 建立資料概況並進行分析,以找出品質問題並確保資料一致性與可靠性。
- 撰寫並調校複雜的 SQL 查詢,提升資料處理效率。
- 排除大規模工作負載中的問題並改善效能。
- 處理影響 Azure Data Factory 管線、Databricks 工作及資料工作流程的第二級正式環境事件。
- 監控並支援正式環境管線,維持可用性、可擴充性及營運效率。
- 協助在開發、預備及正式環境中進行部署與發布。
- 協調多個專案的優先順序,獨立作業並按時完成工作。
職位要求
- 具備八年以上資料工程經驗。
- 具備資料工程及 ETL 開發的實務經驗。
- 具備豐富的 Azure Databricks 和 Azure Data Factory (ADF) 實務經驗。
- 具備進階 ETL/ELT 開發及資料轉換技能。
- 具備進階 SQL 技能,包括撰寫、最佳化及調校複雜查詢。
- 具備 Python 和 PySpark 經驗。
- 具備 Azure Data Lake 及企業資料整合經驗。
- 具備資料分析、驗證、概況分析及品質保證經驗。
- 具備支援、監控及疑難排解正式環境管線的經驗。
- 能獨立作業、保持條理並管理工作優先順序。
- 具備良好的口語及書面溝通能力。
- 具備進階英語能力。
- 優先條件:具備 CI/CD 管線及 DevOps 實務經驗。
- 優先條件:熟悉 Git、Azure DevOps 或類似的版本控制與部署工具。
- 優先條件:熟悉雲端監控、記錄及可觀測性工具。
福利待遇
- 以 CLT 合約聘用。
- 完全遠端工作。
相關職缺

