Avanade
Avanade
Avanade 為企業提供雲端連結管理與數位連結工具。其平台支援網址縮短、品牌連結、QR 碼(包括動態 QR 碼與 GS1 Digital Link 格式)、行動登陸頁、數位名片、UTM 行銷活動追蹤、連結分析、API 與整合功能。這些能力協助行銷、開發及客戶服務團隊在數位管道中建立、管理與衡量客戶互動,同時提供以企業為導向的安全性與合規功能。

資料工程師顧問——Databricks 與 Azure(墨爾本現場辦公)

使用 Databricks 建構可擴充的 Azure 資料管線與 PySpark 轉換流程。支援金融服務領域的分析與資料科學計畫。

說明

  • 使用 Azure Data Factory、Databricks 與 Apache Spark 建立並改進可擴充的資料擷取管線
  • 開發並維護 PySpark 筆記本,為資料科學計畫提供資料準備、轉換與豐富化支援
  • 與資料科學家合作釐清需求,並準時交付可靠且結構化的資料集
  • 建立資料品質控管、驗證規則與監控流程
  • 連接並處理結構化、半結構化與非結構化資料來源
  • 將安全性、治理與銀行業合規標準應用於資料解決方案
  • 調校 Azure Spark 工作負載,以提升效能並控制成本
  • 參與程式碼審查、解決方案設計會議與敏捷活動
  • 維護涵蓋資料管線、工作流程與技術決策的文件

職位要求

  • 至少具備三年 Azure Databricks 實務操作經驗
  • 具備扎實的 Apache Spark 專業知識,尤其熟悉用於分散式處理的 PySpark
  • 具備 Azure Data Factory、Azure Synapse、Azure Blob Storage 與 Delta Lake 經驗
  • 了解 ETL/ELT 工作流程、資料建模與資料倉儲原則
  • 使用 Python 和/或 Scala 進行資料處理
  • 具備使用 Azure DevOps、Git 與 Terraform 的 CI/CD 工作流程經驗者優先
  • 熟悉 SQL、NoSQL 與資料湖架構
  • 了解金融服務領域的資料治理、安全性與合規實務
  • 具備出色的分析與問題解決能力
  • 能與利害關係人有效溝通
  • 能在跨職能團隊中有效率地工作
  • 具備敏捷思維,並有 Scrum 或類似環境的經驗
  • 持有澳洲公民身分
  • 具備取得安全許可的資格
  • 具備電腦科學、資訊系統、工程或相關領域學士或碩士學位者優先
  • 持有 Databricks Certified Data Engineer Associate 或 Professional 認證者優先
  • 具備銀行業或金融服務經驗者優先