Synechron GCP 大數據工程師——Python、Spark,班加羅爾現場辦公
為 Synechron 的企業分析平台建構安全、可擴充的資料管線。 運用 GCP、Spark、Python 及 ETL/ELT 技術,交付可靠的資料解決方案。
說明
- 在 GCP 上設計並最佳化可擴充的資料管線與資料管理解決方案
- 為企業分析與報表建構並維護可靠的資料管線
- 與利害關係人、資料科學家及分析團隊合作,改善工作流程
- 實施資料品質、安全性、治理、加密、存取控制與合規實務
- 改善資料擷取、轉換與處理,以提升效能並提高成本效益
- 分析資料特徵、排解管線故障並解決營運問題
- 自動化工作流程、管理基礎架構即程式碼,並支援部署管線
- 記錄架構、工作流程、程序與營運指引
- 參與衝刺規劃、評審與持續改善
- 追蹤資料工程實務,並主導提升交付能力的措施
職位要求
- 具備廣泛使用 GCP 服務的經驗,例如 BigQuery、Dataflow、Cloud Storage 與 Cloud Pub/Sub
- 具備扎實的 Apache Spark 技能,能進行分散式資料處理與分析
- 具備建構與維護 ETL/ELT 資料管線的實務經驗
- 熟練使用 Python 進行腳本撰寫、自動化與編排
- 具備管理 PostgreSQL、MySQL 與 MongoDB 等分散式資料儲存的經驗
- 熟悉 Git
- 具備 Linux 與 Unix 環境的工作知識
- 具備資料治理、詮釋資料管理與資料安全經驗者優先
- 具備 Apache Airflow 或 Prefect 知識者優先
- 具備 Docker 與 Kubernetes 知識者優先
- 至少五年專注於 GCP 與大數據生態系統的實務資料工程經驗
- 具備大規模設計與交付端到端資料管線及工作流程的經驗
- 在分散式處理、資料安全與基礎架構自動化方面具備經證實的專業能力
- 具備參與支援企業級或大規模資料平台之敏捷團隊的經驗
- 具備電腦科學、資料科學、資訊科技或相關領域的學士或碩士學位
- 具備廣泛使用 Hadoop、Spark、Dataflow 及其他 GCP 或大數據處理框架的經驗
- 能為企業分析建立穩健、可擴充且安全的管線
- 在分散式資料環境中具備出色的分析與問題解決能力
- 具備清晰的溝通能力與有效的協作能力
- 具備推動最佳實務並指導初階團隊成員的領導能力
- 具備策略思考及有效的時間管理能力
福利待遇
- 彈性的工作方式
- 導師指導機會
- 內部職涯流動機會
- 學習與職涯發展計畫
