ClickBus 中階資料工程師
為 ClickBus 巴士票務市場建置並最佳化批次與串流資料管道。 運用 AWS、Spark、Airflow、dbt 與資料品質實務，提升效能、降低成本並強化可靠性。
說明
- 使用 EKS 上的 Airflow、EMR/Spark 與 dbt 建置、維護並改善批次與串流資料管道
- 為 DMS、API、檔案與事件建立資料擷取流程，同時在各資料湖層中整理資料
- 診斷並解決資料管道事件，包括 DAG 失敗、處理錯誤、指標不一致與結構描述問題
- 執行根因分析，並建議可避免問題重複發生的變更
- 透過自動化測試、驗證檢查與核對流程維持資料品質
- 開發並調校 Spark 與 dbt 轉換，以提升效能並控制成本
- 最佳化 Athena 查詢與 dbt 模型，降低處理成本並改善回應時間
- 實作追加、覆寫與合併/更新增量載入，確保處理一致且具備冪等性
- 隨著資料架構演進，參與技術改善與標準化工作
- 檢視程式碼，並採用完善的版本控制與技術文件實務
- 與業務團隊合作，確認交付的資料符合功能需求
- 監控管道執行情況，持續找出改善機會
職位要求
- 具備在雲端環境中擔任資料工程師的實務經驗
- 具備建置與營運正式環境資料管道的實作經驗
- 具備排查與解決資料事件的經驗
- 具備使用事實表與維度表設計分析模型的經驗
- 了解增量載入策略與資料分割
- 熟悉 AWS 服務，包括 S3、Athena、IAM 與 Glue Catalog；具備 EMR 經驗者佳
- 具備建立與維護 Airflow DAG 的經驗
- 具備 PySpark 實務經驗，包括連接、分割與基礎效能調校
- 具備 dbt 建模、增量模型與測試經驗
- 精通 SQL
- 具備 Python 程式設計能力
- 具備 Git 使用經驗
福利待遇
- 透過 Flash 卡提供每月 1,100 巴西雷亞爾的餐費或食品補助
- 透過 Flash 卡提供每月 149 巴西雷亞爾的居家辦公補助
- 透過 Flash 卡提供每月 200 巴西雷亞爾的彈性福利補助
- 每年提供 2,000 巴西雷亞爾的 Busonauta Viajante 福利，可透過應用程式或網站購買巴士票
- 交通補助
- 停車福利
- SulAmérica 醫療保險，無自付額或月保費
- Bradesco 牙科保險
- 提供母親與父親托兒補助
- 六個月產假與 30 天陪產假
- 人壽保險
- Wellhub 與 TotalPass 使用權
- 年度盈餘分享獎金
- 生日當日休假
- Petlove 合作福利
- 藥房補助
- 身心障礙子女支援
- 與教育及休閒機構合作提供的福利