
ViX 流媒体平台高级数据工程师
为 TelevisaUnivision 的 ViX 流媒体平台构建可扩展的批处理与实时数据管道,支持分析、机器学习和产品项目。 推动数据平台建设,助力各团队将业务需求转化为技术方案。
描述
- 使用 Airflow、Python、SQL 和 dbt 构建并维护可扩展的批处理数据管道。
- 通过 Dataflow 将 Pub/Sub 中的事件数据导入 Cloud Storage 和 BigQuery,构建实时数据摄取管道。
- 开发并改进分析型数据仓库中的维度模型和工作流。
- 负责管道从设计、实施、测试、部署到生产支持的全流程。
- 保障整个数据生态系统中的数据质量、完整性、安全性和可用性。
- 与产品经理、数据科学家、分析师和工程团队协作,将业务需求转化为技术方案。
- 参与数据架构讨论,并为平台的长期发展方向提供建议。
- 寻找改进流程和提升运营效率的方法。
- 优化存储、处理和编排,提升速度、扩展能力并控制成本。
- 监控并解决管道和平台问题,参与事故复盘。
- 落实治理、可观测性、测试和 CI/CD 方面的规范实践。
- 通过技术支持、代码审查和知识分享指导初级数据工程师。
- 协助制定架构决策和工程标准。
- 参与技术面试,支持建设一支实力强劲的数据工程团队。
任职要求
- 计算机科学、工程、信息系统或相关技术领域的学士或硕士学位。
- 至少 7 年数据工程、数据仓库或大数据环境相关经验。
- 具备高级水平的 Python 和 SQL 技能。
- 具备端到端构建并负责生产级数据管道的经验。
- 具备扎实的 Google Cloud Platform 使用经验,包括 BigQuery、Cloud Storage、Pub/Sub、Dataflow 和 Cloud Composer;有 AWS 经验也可考虑。
- 具备使用 Airflow、dbt 等工作流编排和数据转换工具的经验。
- 具备构建实时或近实时数据管道的经验。
- 深入了解数据仓库实践,包括关系建模和维度建模。
- 具备使用 Pulumi 或 Terraform 等基础设施即代码工具的经验。
- 充分理解 Spark 等分布式数据处理框架。
- 具备出色的分析、故障排查和问题解决能力。
- 必须获准在美国工作。
- 申请人目前必须获准在美国全职工作。
- 将核实工作和教育经历。
福利待遇
- 带薪休假
- 学费报销
- 健康与员工支持计划
- 401(k) 退休储蓄计划
- 人寿及其他保险计划
- 医疗、牙科和视力保险选项
- 平等就业机会




