
資深資料工程師(Databricks 與 Spark)
運用 Databricks 和 Spark,為 Tiger Analytics 的企業客戶建置可擴展的資料管線。 改善 ETL 工作流程、批次排程及正式環境資料解決方案。
說明
- 運用 Databricks、Spark、Python 和 Scala 建置並維護可擴展的資料管線。
- 開發並改善 ETL/ELT 流程,以擷取、轉換及處理來自不同來源的資料。
- 運用 Hadoop 工具處理及管理大型結構化與非結構化資料集。
- 調校並排除 Spark 應用程式問題,以提升效能、可擴展性及可靠性。
- 運用 Control-M 管理批次排程、工作流程相依性及管線執行。
- 調查工作失敗及管線問題,確保排程工作負載按時完成。
- 加入驗證、錯誤處理及品質檢查,以維持資料準確且一致。
- 與資料架構師、分析師及其他團隊合作,蒐集需求並交付可靠的解決方案。
- 遵循程式碼標準、測試實務、版本控制及部署程序。
- 支援正式環境發布、事件應變及解決方案的持續維護。
職位要求
- 至少 8 年資料工程經驗。
- 具備扎實的 Databricks 和 Apache Spark 實務經驗。
- 熟練運用 Python 和 Scala 進行資料處理及應用程式開發。
- 具備 Hadoop 和大數據技術的實務經驗。
- 具備運用 Control-M 進行批次排程、工作監控、工作流程協調及相依性管理的經驗。
- 深入了解 ETL/ELT、資料轉換及分散式資料處理。
- 具備效能調校、除錯、問題排除及正式環境支援經驗。
- 具備扎實的 SQL 技能並了解資料管理概念。
- 具備出色的分析、問題解決及協作能力。
福利待遇
- 醫療保險。
- 牙科保險。
- 視力保險。
- 退休帳戶。
- 長期及短期失能保險。
- 人壽保險。
- 美國境內的 HSA/FSA 帳戶。
- 酌情安排的休假。
- 持續學習並實際接觸新興技術的機會。
- 有機會深入掌握生成式 AI、代理式 AI 及新一代資料平台。
- 與全球 AI、資料、工程及顧問團隊合作。
- 有機會領導策略專案並發展客戶合作關係。









