資深 Azure Databricks 資料工程師
運用 Azure Databricks 和 Python 建置資料管線,支援 Applaudo 的 AI 企業解決方案。 將業務資料串接至可擴充且可靠的資料中樞與資料倉儲。
說明
- 使用 Azure Databricks 和 Python 建置並維護可投入正式環境的資料管線。
- 使用 PySpark 或 Spark SQL 建立可擴充的資料轉換流程。
- 從 API、關聯式資料庫、雲端儲存和 SFTP 擷取並處理資料。
- 將工單、CRM、行銷、零售及其他企業平台連接至集中式 Data Hub。
- 開發並維護資料倉儲結構、維度模型和資料市集。
- 撰寫、調校並維護 SQL 轉換邏輯。
- 加入資料品質驗證和一致性檢查。
- 為第三方系統建置並維護輸出資料流。
- 調查資料差異並排除管線問題。
- 記錄資料管線、轉換邏輯、相依性和技術流程。
- 與同事及利害關係人合作,釐清需求並辨識風險。
- 及早分享進度、阻礙和可能的延誤,並提出維持交付進度的措施。
職位要求
- 至少五年專業資料工程經驗。
- 具備扎實的 Azure Databricks 實務經驗。
- 具備進階 Python 技能,可用於資料處理、轉換和管線開發。
- 具備扎實的 Apache Spark 經驗,包括 PySpark 和/或 Spark SQL。
- 具備進階 SQL 技能,包括複雜轉換、資料驗證和查詢效能調校。
- 深入了解資料倉儲和維度建模,包括事實表、維度表和資料市集。
- 具備整合 REST API、關聯式資料庫、雲端儲存和 SFTP 資料的經驗。
- 具備使用 Microsoft Azure 資料服務進行資料擷取、儲存、處理和整合的實務經驗。
- 具備實作資料品質檢查,並驗證來源系統與目標資料模型之間一致性的經驗。
- 能夠診斷管線故障、調查資料差異並實作可靠的修正方案。
- 具備出色的分析、問題解決和組織能力。
- 能夠獨立工作、承擔責任,並遵循工程實務和文件標準。
- 具備出色的英語溝通能力,並能與美國團隊合作。
- 具備將 SQL 工作負載遷移至 Azure Databricks 的經驗者佳。
福利待遇
- 可選擇遠端工作。
- 有機會快速學習並與優秀團隊共事。
- 採用現代化的工作方式。
- 參與大規模 AI 原生轉型。
相關職缺
找不到職缺
嘗試調整或清除篩選條件,以查看更多機會。
