Brillio 混合辦公資料工程師——dbt 與 Snowflake
加入 Brillio,擔任專注於逆向分析定價邏輯的資料工程師,並將其重建為受治理的 Silver 層 dbt 模型。 驗證結果一致性、記錄資料血緣,並在分析師核准後淘汰舊有的 Gold 層定義。
說明
- 與定價分析師合作,找出 Gold 層定義、計算方式、轉換流程、相依性、假設、邊界情況與模糊處
- 逆向分析分析師 SQL、試算表公式和臨時計算,以確立預期的業務行為
- 將舊有邏輯轉換為明確的技術需求與實際可行的遷移計畫
- 將核准的定價定義建立為 Silver 層中受治理、可重複使用且有文件記錄的 dbt 模型
- 套用既定的資料建模、命名、測試、版本控制與程式碼審查標準
- 建立可擴充、易維護且可稽核的模型,不依賴未文件化的分析師知識
- 實作 dbt 測試,涵蓋唯一性、不可為空、允許值、關聯性與業務規則
- 將 Silver 層輸出與現有 Gold 層結果進行核對,並調查差異
- 在具代表性的時間區間、區隔、邊界條件和已知例外情況下測試遷移結果
- 完成一致性審查並取得定價分析師核准後完成遷移
- 與定價分析師合作,釐清計算方式、確認預期行為並對預期結果達成共識
- 在淘汰舊有定義前進行導覽與審查,同時記錄分析師核准結果
- 讓技術與業務利害關係人了解風險、未解決問題、相依性與決策
- 在 dbt 與 Confluence 中記錄業務背景、計算規則、假設、例外、輸入、擁有權、資料血緣、測試與下游使用者
- 在 Silver 替代方案完成驗證、核准、採用,且下游相依性已更新後,淘汰臨時 Gold 層邏輯
- 確認已淘汰的邏輯不再使用,並更新營運文件以反映新的單一事實來源
職位要求
- 具備五至八年分析型資料平台資料工程經驗
- 精通 SQL,包括連接、視窗函式、CTE、彙總、條件邏輯與最佳化
- 具備實務 dbt 經驗,涵蓋模型、測試、文件與資料血緣
- 深入了解 Snowflake,包括資料建模、效能調校與資料倉儲概念
- 具備重構、遷移或現代化複雜分析邏輯的背景
- 能夠解讀臨時 SQL 和試算表計算,並驗證其輸出
- 深入掌握資料品質、核對、測試與發布控制
- 能夠與非工程領域利害關係人合作,釐清需求並驗證結果
- 溝通清晰,具備嚴謹的文件記錄習慣
- 具備 Python 經驗者佳
- 具備 Airflow、Confluence、Jira 和 Slack 使用經驗
- 具備涵蓋資料建模、品質驗證、核對、遷移規劃、利害關係人協作與技術文件的綜合經驗
