
高级工程经理,Spark 运行时工程
领导 Snowflake 的 Spark 编译器与运行时团队,制定技术方向并指导架构、性能与可靠性工作。建设优秀的工程团队,持续提升 Spark 工作负载的生产能力。
描述
- 带领 5–8 名工程师,为 Snowflake 上的 Spark 工作负载开发生产级编译器和运行时能力。
- 制定 Spark 查询编译与运行时集成的技术方向。
- 指导架构设计,评审关键设计与代码,并排查复杂的正确性、性能和可靠性问题。
- 通过性能分析、加快编译、改善元数据访问以及与查询引擎团队协作,提升工作负载性能和成本效率。
- 建立正确性与兼容性实践,包括与 Apache Spark 的差分测试、回归测试覆盖,以及对不支持行为的管理。
- 负责生产质量,涵盖可观测性、事件响应、故障恢复和安全发布。
- 招聘、辅导和培养工程师;提供反馈、管理绩效并支持职业发展。
- 与资深技术负责人和产品管理团队合作,确定投入优先级、协调依赖事项并推进路线图。
- 使用有代表性的客户工作负载测试变更,并跟踪兼容性、延迟、可靠性和成本效率。
任职要求
- 至少 2 年直接工程管理经验,具备培养工程师和交付生产系统的业绩记录。
- 至少 5 年软件工程实战经验,其中包括大量编译器、查询处理系统或运行时基础设施相关工作。
- 在相关领域具备深厚专业知识,例如编译器架构与中间表示变换、关系型查询处理、语言语义与类型系统,或运行时集成。
- 熟练掌握 Scala、Java、C++ 或同类实现语言,能够评审生产代码并指导技术决策。
- 具备扎实的系统基础知识,包括并发、内存行为和性能分析,并有调试复杂生产问题的经验。
- 能够将技术与客户需求转化为工程优先事项,并有效开展跨团队、跨地点协作。
- 优先条件:熟悉 Apache Spark 内部机制、Catalyst、Spark Connect 或 DataFrame API。
- 优先条件:具备关系代数、SQL 生成、查询优化或数据库执行系统经验。
- 优先条件:具备 Scala/JVM 性能、原生运行时函数、元数据缓存或编译性能优化经验。
- 优先条件:具备为数据系统构建兼容性测试框架、差分测试、性能基准或生产可观测性的经验。
- 优先条件:具备带领系统走过客户采用、生产加固和分阶段发布的经验。




