ViX流媒体平台首席数据工程师
负责TelevisaUnivision旗下ViX服务的大规模流式与批处理数据平台架构和运营。 指导实时数据管道的可靠性、成本效益及工程团队发展。
描述
- 构建并运营为ViX提供支持的大规模数据管道。
- 制定数据平台架构和长期技术方向。
- 亲自解决复杂的实时与批处理数据工程难题。
- 指导初级和中级工程师,提升工程标准。
- 创建参考实现、框架、可复用库、数据摄取模板、dbt与Airflow模式,以及Pulumi基础设施模块。
- 主导Pub/Sub和Dataflow管道设计,涵盖架构及其演进、恰好一次处理、水位线和迟到数据。
- 负责管道从设计、开发到测试、部署和生产支持的整个生命周期。
- 维护数据质量、完整性、安全性和可用性。
- 与产品经理、数据科学家、分析师和工程团队合作,将业务需求转化为技术方案。
- 参与数据架构决策和平台长期战略制定。
- 寻找改进流程和运营效率的方法。
- 降低存储、处理、编排、BigQuery查询和数据存储方面的成本。
- 监控并解决管道和平台问题,参与事故复盘。
- 落实数据治理、可观测性、测试和CI/CD实践。
- 主导重大数据事故响应,组织无责复盘并推动持久改进。
- 参与代码审查、技术面试、架构决策和工程实践改进。
- 评估并采用新兴技术,包括AI辅助工程工作流和基于LLM的数据工具。
任职要求
- 计算机科学、工程、信息系统或相关技术领域的学士或硕士学位,或同等经验。
- 至少12年数据工程、数据仓库或大数据环境相关经验。
- 至少两年担任技术负责人并跨团队制定方向的经验。
- 指导和培养初级及中级工程师的经验。
- 有设计和运营大规模生产级实时数据平台的经历,例如每日处理数十亿个事件的系统。
- 精通GCP服务,包括BigQuery、Pub/Sub、Dataflow(Apache Beam)、Cloud Composer(Airflow)和Cloud Storage;有AWS经验也予以考虑。
- 精通Python和SQL,并具备dbt生产环境经验。
- 深入理解流处理概念,包括事件时间与处理时间、窗口、水位线、恰好一次交付和背压;有Kafka、Flink或Spark经验。
- 深入掌握分析型数据建模,包括维度建模和事件建模,以及Apache Iceberg等湖仓格式。
- 具备使用Pulumi或Terraform进行基础设施即代码、CI/CD和自动化数据管道测试的丰富经验。
- 有通过SLO、可观测性、事故管理和复盘负责数据可靠性的经验。
- 有大规模降低云数据平台成本的成功经历。
- 具备出色的书面、口头和演示沟通能力,包括编写设计文档并与技术及高管受众沟通。
- 必须获准在美国工作。
- 目前必须获准在美国全职工作。
- 将核实工作经历和教育背景。
福利待遇
- 带薪休假。
- 学费报销。
- 健康福利项目。
- 员工支持项目。
- 401(k)退休储蓄计划。
- 人寿保险及其他保险计划。
- 医疗保险。
- 牙科保险。
- 视力保险。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
