資深資料工程師（羅馬尼亞遠端）| Sedona Digital
為 Sedona Digital 的保險業客戶建置並支援 PySpark、SQL 和 Databricks 資料平台。 負責資料管線、核對、資料品質及雲端資料解決方案。
說明
- 評估並重建用於營運資料和來源系統資料的擷取管線。
- 設計資料對應、資料沿襲、相依關係，以及受控移轉與切換計畫。
- 建立並維護詳細的資料核對流程。
- 改善 PySpark 資料處理能力，以及階層和彙總功能。
- 加入測試、版本控管、中繼資料、可觀測性和部署控管。
- 與業務和技術專家合作，改善資料涵蓋範圍。
- 評估 GCP 資料管線選項並協助實作。
- 探索直接從 Microsoft Dynamics 365 等系統取得對應資料和參考資料。
- 支援報表階層和篩選邏輯的變更，包括影響評估、測試和核對。
- 建立並維護自動化資料品質檢查、監控和營運控管。
- 協助團隊採用集中式報表和資料能力。
- 準備技術文件、決策紀錄、核對證據、差異說明和交接資料。
- 與工程師和利害關係人透過優先待辦事項及短週期迭代衝刺交付工作。
職位要求
- 至少五年資料工程或密切相關資料職務的專業經驗，並具備豐富的生產資料解決方案建置和支援實務經驗。
- 熟悉 PySpark、SQL 和 Databricks，並具備開發及支援正式環境資料管線的實務經驗。
- 具備 GCP 資料技術和管線的實務經驗。
- 具備資料管線測試、最佳化及營運支援經驗。
- 具備豐富的維度資料、主資料/參考資料或階層資料建模經驗。
- 具備實作複雜實體比對、資料對應和彙總邏輯，並確保適當可追溯性的經驗。
- 具備實作自動化資料品質檢查和核對流程的實務經驗。
- 具備在資料工程解決方案中實作可觀測性、稽核歷程、版本控制和 CI/CD 的經驗。
- 具備評估來源系統資料並記錄資料契約、對應、資料沿襲和相依關係的經驗。
- 具備管理受控資料管線或平台轉換的經驗。
- 能夠調查資料問題，並清楚說明數值、記錄筆數、對應和階層結果的差異。
- 能直接與平台團隊、分析師和業務專家合作，將不明確的報表和對應需求轉化為經過測試的工程解決方案。
- 溝通能力佳，能準備精簡的技術文件、決策紀錄、差異說明和交接資料。
- 能自主工作，並適應協作、迭代式的交付環境。
- 優先條件：具備保險、倫敦市場、再保險、經紀、分銷或保單層級資料環境經驗。
- 優先條件：具備整合 Microsoft Dynamics 365 或類似營運來源系統的經驗。
- 優先條件：具備 Power BI 經驗，包括語意模型和報表相依關係。
- 優先條件：具備緩慢變動維度（SCD）和歷史階層管理經驗。
- 優先條件：具備支援複雜主資料/參考資料、實體比對和階層解決方案的經驗。
- 優先條件：具備調查歷史資料和報表差異的經驗。
- 優先條件：具備支援受控資料移轉、來源系統轉換或平台變更的經驗。
- 優先條件：具備分散式敏捷團隊經驗，並曾與英國的業務和技術利害關係人合作。
