
資深資料庫分析工程師
為歐洲公共部門技術專案建置並最佳化 dbt、PySpark 與 Apache Iceberg 資料管線。 此混合辦公職位位於布魯塞爾,工作地點包括公司或客戶的辦公場所。
說明
- 建置可靠且可擴充的資料轉換管線與工作流程。
- 提升 dbt 專案效能並縮短執行時間。
- 建立並記錄 dbt 資料品質檢查與控制測試。
- 設定自動化迴歸測試與驗證,以維持管線輸出的品質與一致性。
- 分享維護及演進 dbt 專案的團隊實務。
- 將業務需求與分析文件轉化為可運作的資料轉換管線。
- 與開發團隊及主要客戶的 IT 團隊於現場合作。
職位要求
- 具備電腦科學、資訊科技、系統工程或相關領域的大學學位,並有至少 12 年相關 IT 經驗。
- 具備使用 dbt(以 dbt Core 為佳)的實務經驗,能設計、維護、測試、記錄並擴充正式環境中的分析轉換專案。
- 具備分析工程與現代資料建模經驗,包括分層架構、可重複使用的巨集、資料品質控管及 CI/CD。
- 具備撰寫 PySpark 轉換程式以進行大規模資料處理的經驗;具 Spark 工作最佳化經驗者尤佳。
- 具備 Apache Iceberg 實務經驗,包括分割區與結構描述演進、快照管理及時間旅行功能。
- 具備使用 Dagster 等工作流程編排與排程工具的經驗。
- 深入了解 SAS ETL 與舊有程式碼庫;具備將 SAS 工作流程遷移至 dbt 的經驗者尤佳。
- 具備出色的 SQL 能力,包括複雜轉換、效能最佳化及增量處理。
- 深入了解 Apache Spark 執行方式、分割區、檔案配置最佳化及效能調校。
- 熟悉將舊有系統遷移至 dbt 和 PySpark 時所需的資料驗證、核對與測試。
- 了解版本控制與協作開發,包括 Git、程式碼審查、版本發布管理及自動化部署管線。
- 精通英語。
福利待遇
- 薪酬具競爭力,依資格與經驗而定。
- 可選擇承攬工作,或選擇包含完整福利的薪酬方案。
- 申請流程保密。
- 國際化、多語言、多元文化的工作環境。
- 提供平等就業機會。
相關職缺
