資深 Azure Databricks 資料工程師
運用 Azure Databricks 和 Python 建置資料管線,支援 Applaudo 的 AI 企業解決方案。 串接企業資料來源,打造可靠的資料倉儲與集中式資料中樞。
說明
- 運用 Azure Databricks 和 Python 建置並維護正式環境的資料管線。
- 使用 PySpark 或 Spark SQL 建立可擴充的資料轉換流程。
- 從 API、關聯式資料庫、雲端儲存空間和 SFTP 擷取並處理資料。
- 將工單、CRM、行銷、零售及其他企業平台的資料匯入集中式資料中樞。
- 開發並維護資料倉儲結構、維度模型和資料市集。
- 撰寫、調校並維護 SQL 轉換邏輯。
- 加入資料品質驗證和一致性檢查。
- 為第三方系統建立並維護對外資料饋送。
- 調查資料差異並排除管線問題。
- 記錄資料管線、轉換邏輯、相依關係和技術流程。
- 與同事及利害關係人合作,釐清需求、找出風險並交付可靠的資料解決方案。
- 及早分享進度、阻礙和可能延誤,並提出後續步驟。
職位要求
- 至少五年專業資料工程經驗。
- 具備豐富的 Azure Databricks 實務經驗。
- 具備進階 Python 技能,可用於資料處理、轉換和管線開發。
- 熟悉 Apache Spark,包括 PySpark 和/或 Spark SQL。
- 具備進階 SQL 技能,包括複雜轉換、資料驗證和查詢效能調校。
- 熟悉資料倉儲和維度建模,包括事實表、維度表和資料市集。
- 具備串接 REST API、關聯式資料庫、雲端儲存空間和 SFTP 的經驗。
- 具備 Microsoft Azure 資料服務的實務經驗。
- 具備加入資料品質檢查,並驗證來源系統與目標模型間一致性的經驗。
- 能診斷管線故障並調查資料差異。
- 能獨立作業、承擔責任,並遵循工程和文件撰寫規範。
- 具備良好的英語溝通能力。
- 能與美國團隊有效合作。
- 具備將 SQL 工作負載移轉至 Azure Databricks 的經驗者尤佳。
福利待遇
- 遠端工作。
- 有機會快速學習並承擔責任。
- 與優秀團隊共事。
- 投入現代化工作方式。
- 參與大規模 AI 原生轉型。
相關職缺
找不到職缺
嘗試調整或清除篩選條件,以查看更多機會。
