資料工程經理 - 浦那(混合辦公)
為 Marsh McLennan 的全球風險與顧問業務領導資料工程計畫。 建構基於 Databricks、PySpark、SQL、Delta Lake 與 Lakehouse 的可擴充解決方案,支援受治理的分析。
說明
- 在 Databricks Lakehouse 平台上設計並交付可擴充的資料管道
- 建立並維護基於獎牌架構的資料產品
- 開發用於資料擷取、轉換與消費的資料管道
- 建構可直接用於報表與分析的業務級黃金層資料集
- 管理 Delta Lake 資料表及相關資料資產
- 使用 Merge、Upsert 與 CDC 模式實現增量處理
- 透過分割、壓縮與調校提升 Delta 資料表效能
- 評估傳統資料流程與 SQL,並將其轉換為高效的 PySpark 管道
- 記錄轉換規則與遷移策略
- 在 Databricks 中開發可擴充的 PySpark 應用程式
- 建立可重複使用的工程框架與元件
- 調校 Spark 工作負載並檢視執行計畫
- 建立資料品質檢查、對帳程序與驗證框架
- 撰寫複雜 SQL、預存程序與高效的轉換邏輯
- 使用 SQL 進行資料分析、剖析與問題排解
- 改善大規模資料集的查詢效能與資料模型
- 支援資料血緣、詮釋資料、治理、CI/CD 與部署自動化
- 與資料架構師、業務利害關係人、分析師及平台團隊合作
職位要求
- 具備經驗證的 Databricks 與基於 Spark 的資料工程實務經驗
- 具備在 Bronze、Silver 與 Gold 層應用獎牌架構的經驗
- 具備設計與運作 Delta Lake 解決方案的經驗
- 深入理解 Lakehouse 架構概念
- 具備為企業分析平台建構可擴充資料管道的經驗
- 了解資料品質、資料血緣、治理與可觀測性實務
- 具備 Informatica 經驗者佳
- 具備雲端工程經驗,最好熟悉 AWS
- 熟悉 Databricks、PySpark、SQL、Delta Lake、獎牌架構、資料建模及大規模分散式處理
福利待遇
- 提供職涯成長與發展機會
- 與支持型領導共事,參與具吸引力的工作
- 包容且充滿活力的職場文化
- 彈性的工作環境
- 多元的職涯發展路徑
- 重視員工福祉的福利與獎勵
- 可選擇遠端工作
- 提供辦公室協作、建立關係與專業發展的機會
