Snowflake
Snowflake
Snowflake 提供基于云的数据平台,用于大规模存储、处理和分析信息。其集中式架构帮助企业整合数据、高效运行复杂查询,并随着业务需求的发展支持多种工作负载。该公司的平台与云计算、数据、分析、咨询和营销技术等领域的专业人士密切相关,相关机会取决于负责构建和支持现代数据基础设施的团队。

高级工程经理,Spark 运行时工程

领导 Snowflake 的 Spark 编译器与运行时团队,制定技术方向并指导架构、性能与可靠性工作。建设优秀的工程团队,持续提升 Spark 工作负载的生产能力。

描述

  • 带领 5–8 名工程师,为 Snowflake 上的 Spark 工作负载开发生产级编译器和运行时能力。
  • 制定 Spark 查询编译与运行时集成的技术方向。
  • 指导架构设计,评审关键设计与代码,并排查复杂的正确性、性能和可靠性问题。
  • 通过性能分析、加快编译、改善元数据访问以及与查询引擎团队协作,提升工作负载性能和成本效率。
  • 建立正确性与兼容性实践,包括与 Apache Spark 的差分测试、回归测试覆盖,以及对不支持行为的管理。
  • 负责生产质量,涵盖可观测性、事件响应、故障恢复和安全发布。
  • 招聘、辅导和培养工程师;提供反馈、管理绩效并支持职业发展。
  • 与资深技术负责人和产品管理团队合作,确定投入优先级、协调依赖事项并推进路线图。
  • 使用有代表性的客户工作负载测试变更,并跟踪兼容性、延迟、可靠性和成本效率。

任职要求

  • 至少 2 年直接工程管理经验,具备培养工程师和交付生产系统的业绩记录。
  • 至少 5 年软件工程实战经验,其中包括大量编译器、查询处理系统或运行时基础设施相关工作。
  • 在相关领域具备深厚专业知识,例如编译器架构与中间表示变换、关系型查询处理、语言语义与类型系统,或运行时集成。
  • 熟练掌握 Scala、Java、C++ 或同类实现语言,能够评审生产代码并指导技术决策。
  • 具备扎实的系统基础知识,包括并发、内存行为和性能分析,并有调试复杂生产问题的经验。
  • 能够将技术与客户需求转化为工程优先事项,并有效开展跨团队、跨地点协作。
  • 优先条件:熟悉 Apache Spark 内部机制、Catalyst、Spark Connect 或 DataFrame API。
  • 优先条件:具备关系代数、SQL 生成、查询优化或数据库执行系统经验。
  • 优先条件:具备 Scala/JVM 性能、原生运行时函数、元数据缓存或编译性能优化经验。
  • 优先条件:具备为数据系统构建兼容性测试框架、差分测试、性能基准或生产可观测性的经验。
  • 优先条件:具备带领系统走过客户采用、生产加固和分阶段发布的经验。

相关职位