ViX串流平台首席資料工程師
負責TelevisaUnivision旗下ViX服務的大規模串流與批次資料平台架構及營運。 帶領即時資料管線的可靠性、成本效益與工程團隊發展。
說明
- 建置並營運為ViX提供支援的大規模資料管線。
- 制定資料平台架構與長期技術方向。
- 親自解決複雜的即時與批次資料工程難題。
- 指導初階與中階工程師,提升工程標準。
- 建立參考實作、框架、可重複使用的程式庫、資料擷取範本、dbt與Airflow模式,以及Pulumi基礎架構模組。
- 主導Pub/Sub與Dataflow管線設計,涵蓋結構描述及其演進、恰好一次處理、水位線與延遲抵達資料。
- 負責管線從設計、開發到測試、部署及正式環境支援的完整流程。
- 維護資料品質、完整性、安全性與可用性。
- 與產品經理、資料科學家、分析師及工程團隊合作,將業務需求轉化為技術方案。
- 參與資料架構決策與平台長期策略制定。
- 尋找改善流程與營運效率的方法。
- 降低儲存、處理、協調、BigQuery查詢及資料儲存方面的成本。
- 監控並解決管線與平台問題,參與事故檢討。
- 落實資料治理、可觀測性、測試及CI/CD實務。
- 主導重大資料事故應變,舉行無責檢討並推動長期修正。
- 參與程式碼審查、技術面試、架構決策及工程實務改善。
- 評估並採用新興技術,包括AI輔助工程工作流程及以LLM為基礎的資料工具。
職位要求
- 具備電腦科學、工程、資訊系統或相關技術領域的學士或碩士學位,或同等經驗。
- 至少12年資料工程、資料倉儲或大數據環境相關經驗。
- 至少兩年擔任技術主管並跨團隊制定方向的經驗。
- 具備指導與培育初階及中階工程師的經驗。
- 曾設計及營運大規模正式環境即時資料平台,例如每日處理數十億個事件的系統。
- 精通GCP服務,包括BigQuery、Pub/Sub、Dataflow(Apache Beam)、Cloud Composer(Airflow)及Cloud Storage;具備AWS經驗亦會納入考量。
- 精通Python與SQL,並具備dbt正式環境經驗。
- 深入掌握串流處理概念,包括事件時間與處理時間、視窗、水位線、恰好一次傳遞及背壓;具備Kafka、Flink或Spark經驗。
- 深入了解分析資料建模,包括維度建模與事件建模,以及Apache Iceberg等湖倉格式。
- 具備使用Pulumi或Terraform進行基礎架構即程式碼、CI/CD及自動化資料管線測試的豐富經驗。
- 具備透過SLO、可觀測性、事故管理及檢討負責資料可靠性的經驗。
- 曾成功大規模降低雲端資料平台成本。
- 具備出色的書面、口語及簡報能力,包括撰寫設計文件並與技術及高階主管受眾溝通。
- 必須獲准在美國工作。
- 目前必須獲准在美國全職工作。
- 將查核工作與教育經歷。
福利待遇
- 帶薪休假。
- 學費補助。
- 健康促進計畫。
- 員工支援計畫。
- 401(k)退休儲蓄計畫。
- 人壽保險及其他保險計畫。
- 醫療保險。
- 牙科保險。
- 視力保險。
相關職缺
找不到職缺
嘗試調整或清除篩選條件,以查看更多機會。
