資深資料工程師（Microsoft Fabric）
打造 Microsoft Fabric 架構、湖倉與資料管線，支援 Derevo 的資料與 AI 解決方案。 將大規模資料轉化為洞察，協助業務決策。
說明
- 打造並實作高品質的現代資料架構
- 運用大數據技術開發分析解決方案
- 設計、維護並最佳化平行處理系統
- 運用資料倉儲、資料湖與湖倉的儲存及管理最佳實務
- 蒐集、處理、清理並協調大量資料
- 整合並轉換來自多個結構化與半結構化來源的資料
- 制定符合業務目標的技術策略
- 參與專案及其衝刺週期，執行開發工作
- 確認需求並界定範疇
- 參與衝刺規劃、工程技術會議、工作坊，以及與內部團隊和客戶的會議
- 運用敏捷方法分類並估算任務
- 每日追蹤衝刺進度
- 如期交付，並及時溝通延誤以管理風險
職位要求
- 具備高階英語能力
- 熟練掌握 T-SQL 和 Spark SQL，包括 DDL、DML、子查詢、CTE、多重連結、彙總、視窗函式、預存程序、索引最佳化、統計資訊與執行計畫
- 具備扎實的 Python（PySpark）技能，包括物件導向程式設計、資料結構、控制流程、資料擷取、DataFrame、UDF、時間視窗、分割、PEP 8 與模組化
- 具備使用 JSON 和 REST API 進行管線協調、CI/CD 部署、動態參數化及成品管理的經驗
- 了解 Microsoft Fabric、Lakehouse、OneLake、Delta Lake，以及符合 ACID 規範的 Delta 資料表
- 了解分割、OPTIMIZE、Z-ORDER 和時間旅行
- 了解資料倉儲（Synapse Analytics）、佈建式與無伺服器 SQL 叢集、星型與雪花結構、交易式 T-SQL、隔離及自動擴縮
- 具備使用 Azure DevOps 或 GitHub Actions 進行 CI/CD 與生命週期管理的經驗
- 了解資料集單元測試、結構描述驗證及自動化成品部署
- 了解 Monitor Hub 和 Activator、指標儀表板、主動式警示及自動化執行手冊
- 了解 Eventstreams 和 Eventhouse，可用於即時事件擷取、處理視窗及增量彙總
- 了解資料安全與治理、角色與權限、資料列及資料欄層級安全性、動態資料遮罩與稽核
- 具備 Azure Data Factory 基本知識者佳
- 具備良好的溝通能力、以 Squad 為單位的團隊合作能力、主動性、協作精神、持續學習能力、責任感、組織能力、資料顧問能力、需求管理能力、制定符合客戶需求的策略及向客戶簡報的能力
福利待遇
- 法定福利及額外福利
- 有機會在不同領域與技術拓展專業能力
- 跨領域發展並迎接新挑戰
- 提供空間、信任與創作自由的環境
- 必要的訓練
- 參與服務跨國客戶的尖端科技專案
- 彈性遠端工作
- 提供工作所需設備
- 內部溝通工具
