軟體工程資深總監（資料工程）
帶領 Circana 的 Azure 資料工程團隊，協助這家全球市場情報公司推動資料建設。 打造可擴充的 Spark 資料管線，並引導 AI 輔助工程實務。
說明
- 使用 Python、PySpark 和 Airflow 建立並改進可擴充的資料工作流程
- 使用 Spark 即時及批次處理資料
- 在資料生命週期各階段落實資料品質、治理和安全實務
- 透過監控和自動化維持資料的可用性、可靠性和效能
- 管理雲端基礎架構並控管資料處理工作負載成本
- 為資料工作流程建置 CI/CD 管線
- 使用 Apache Spark 和 PySpark 開發並改進大型處理管線
- 透過分割、快取和效能最佳化調校 Spark 工作負載
- 運用結構化和非結構化資料推動分析與機器學習計畫
- 建立並維護 Airflow DAG，自動化複雜工作流程
- 監控、疑難排解並改進作業執行與相依性
- 領導並指導資料工程師，提供技術方向
- 推動遵循程式碼標準、使用版本控制並維護良好文件
- 直接與客戶合作，了解業務需求並說明技術概念
- 與工程、產品和架構團隊合作，打造可擴充且易於維護的產品
- 與專案管理團隊協調交付時程和風險緩解
職位要求
- 至少 8 年資料工程經驗
- 精通 Python、PySpark、Apache Spark 和 Apache Airflow
- 具備扎實的 Python 和 SQL 程式設計能力
- 能夠撰寫高效率且易於維護的程式碼
- 深入了解 Spark 內部機制，包括 RDD、DataFrame、DAG 執行和分割
- 具備建立 Airflow DAG 以及管理排程和相依性的經驗
- 了解 Git、Docker、Kubernetes、Terraform，以及用於 CI/CD 工作流程的 DevOps 實務
- 具備大型資料處理最佳化經驗
- 具備團隊領導經驗，並曾在敏捷或 Scrum 環境中工作
- 具備常見資料倉儲或資料湖平台的使用經驗
- 了解 Azure、AWS 或 Google Cloud 等雲端技術
- 曾在軟體開發、資料工程、系統設計、測試和疑難排解中使用生成式 AI 工具
- 深入掌握 AI 輔助工程，包括提示工程、程式碼生成、自動化測試和 AI 驅動的生產力工作流程
- 能夠找出運用 AI 提升團隊生產力、程式碼品質和營運效率的方法
- 具備機器學習工程經驗者優先
- 具備良好的溝通與協作能力
- 能夠與遠端團隊有效合作
- 候選人可能會被要求同意接受背景調查
福利待遇
- 彈性且友善的工作環境
- 帶薪休假
- 醫療、牙科和視力保險
- 401(k) 退休計畫
- 符合獎金資格
- 致力於多元、公平與共融
- 為身心障礙求職者提供無障礙便利
- 依照當地法律進行背景調查
- 未經許可，不會聯絡現任雇主
相關職缺
