
机器学习系统工程师(推理基准测试)
参与 CommonAI 英国人工智能基础设施研究,构建可复现的大语言模型服务基准测试。 在实体系统和模拟环境中评估长上下文及智能体工作负载。
描述
- 创建并维护可复现的大语言模型服务工作负载、配置和基准测试工具
- 使用合适的现有软件构建长上下文和智能体工作负载
- 分析请求模式、提示词和输出长度、缓存、批处理、工具使用及请求依赖关系
- 结合应用质量和服务要求制定性能衡量指标
- 与测量工程师合作,在实体系统上复现工作负载
- 与模拟器工程师合作,在保留关键行为和依赖关系的同时表示工作负载
- 评估工作负载和服务配置的变化如何影响结论
- 随着推理技术和工作负载的变化及时更新基准测试
- 记录数据集、模型和软件版本、配置、来源及许可用途
- 根据商定的应用质量和服务要求,比较工作负载在不同系统上的表现
- 帮助工程师和投资者了解特定应用的基础设施选择
任职要求
- 具备构建或评估机器学习系统、推理服务、性能基准测试或类似工作负载驱动型系统的经验
- 具备扎实的软件实践能力,能够构建可靠的基准测试工具、分析结果,并调试应用与基础设施之间的交互问题
- 了解大语言模型推理,并有兴趣研究服务方案如何影响性能和输出质量
- 能够谨慎设计可复现的比较,并依据明确的应用要求解读结果
- 有实际使用 AI 编程智能体的经验,并能审慎验证生成的代码、数据转换和评估结果
- 具备 vLLM、SGLang 或类似服务软件、长上下文工作负载、智能体应用、轨迹分析或质量评估经验者优先
- 能够从事大语言模型服务相关工作;之后也可能考虑其他形式的推理工作
- 相关研究生学习经历有帮助,但经验和工作质量比学历更重要
- 须居住在英国,或按双方商定的混合办公安排前往剑桥
福利待遇
- 具有竞争力的薪酬方案,包含养老金和福利
- 职业发展机会
- 与科技和学术界有影响力人士交流拓展人脉
- 为前沿模型和编程智能体提供充足的工具预算
- 协作互助的工作环境
- 有机会为不断发展的组织作出重要贡献
- 办公室环境活跃,靠近剑桥火车站
- 混合办公,剑桥到岗安排由双方协商
- 提供永久、兼职和咨询等合作方式
- 入职时间灵活
- 包容多元的工作环境

