資料工程師顧問——Databricks 與 Azure(墨爾本現場辦公)
使用 Databricks 建構可擴充的 Azure 資料管線與 PySpark 轉換流程。支援金融服務領域的分析與資料科學計畫。
說明
- 使用 Azure Data Factory、Databricks 與 Apache Spark 建立並改進可擴充的資料擷取管線
- 開發並維護 PySpark 筆記本,為資料科學計畫提供資料準備、轉換與豐富化支援
- 與資料科學家合作釐清需求,並準時交付可靠且結構化的資料集
- 建立資料品質控管、驗證規則與監控流程
- 連接並處理結構化、半結構化與非結構化資料來源
- 將安全性、治理與銀行業合規標準應用於資料解決方案
- 調校 Azure Spark 工作負載,以提升效能並控制成本
- 參與程式碼審查、解決方案設計會議與敏捷活動
- 維護涵蓋資料管線、工作流程與技術決策的文件
職位要求
- 至少具備三年 Azure Databricks 實務操作經驗
- 具備扎實的 Apache Spark 專業知識,尤其熟悉用於分散式處理的 PySpark
- 具備 Azure Data Factory、Azure Synapse、Azure Blob Storage 與 Delta Lake 經驗
- 了解 ETL/ELT 工作流程、資料建模與資料倉儲原則
- 使用 Python 和/或 Scala 進行資料處理
- 具備使用 Azure DevOps、Git 與 Terraform 的 CI/CD 工作流程經驗者優先
- 熟悉 SQL、NoSQL 與資料湖架構
- 了解金融服務領域的資料治理、安全性與合規實務
- 具備出色的分析與問題解決能力
- 能與利害關係人有效溝通
- 能在跨職能團隊中有效率地工作
- 具備敏捷思維,並有 Scrum 或類似環境的經驗
- 持有澳洲公民身分
- 具備取得安全許可的資格
- 具備電腦科學、資訊系統、工程或相關領域學士或碩士學位者優先
- 持有 Databricks Certified Data Engineer Associate 或 Professional 認證者優先
- 具備銀行業或金融服務經驗者優先
