
資深資料工程師(遠端,加拿大)—Capgemini
建構可擴充的資料處理應用程式與 ETL 管道,支援 Capgemini 的數位轉型服務。 最佳化分散式工作負載,支援分析、報表與機器學習。
說明
- 使用 Apache 技術與 SQL 建立、強化並支援可擴充的資料處理應用程式
- 使用 Python 與 Scala 開發高吞吐量 ETL 及資料轉換管道
- 建構並調校批次與近即時資料處理工作流程
- 處理 Parquet、Hive 與分散式儲存平台中的大型資料集
- 建立高效能 SQL 查詢並改善執行計畫,以實現規模化與效率
- 定義資料模型、分割方式與儲存架構
- 與資料工程師、軟體工程師、資料科學家及產品團隊合作
- 為資料應用程式建立自動化測試、監控與部署工作流程
- 維護資料品質、可靠性、安全性與治理要求
職位要求
- 資訊工程、工程或相關技術領域的學士或碩士學位
- 至少五年軟體工程或資料工程專業經驗
- 具備 Apache 技術、SQL、Python 與 Scala 的實務專業能力
- 具備開發分散式資料處理應用程式的經驗
- 熟悉 Hadoop 生態系統工具,例如 Hive、Parquet 與 HDFS
- 具備為大規模資料建立及調校 ETL 管道的經驗
- 具備扎實的 SQL 開發與查詢調校能力
- 具備 Linux 系統與 Shell 指令碼的工作知識
- 具備使用 Git 等原始碼控制工具的經驗
- 具備 AWS、分散式運算、大規模資料架構、Airflow 編排,以及資料湖或湖倉環境經驗者優先
福利待遇
- 依職等享有 12 至 25 天休假
- 帶薪公司假日
- 個人休假日
- 病假
- 醫療、牙科與視力保險,或與加拿大省級醫療保健協調
- 退休儲蓄計畫,例如加拿大的 RRSP
- 人壽與失能保險
- 員工協助計畫
- 其他福利依當地政策與資格決定
- 可能提供浮動薪酬、獎金或佣金








