高级推理工程师 - 贝尔维尤混合办公
负责为一家 AI 基础设施公司开发生产级模型服务系统。 提升大规模 AI 工作负载中的 GPU 利用率、延迟、吞吐量、可扩展性和可靠性。
描述
- 构建并运营面向高吞吐、低延迟 AI 工作负载的生产级模型服务和推理系统
- 针对多样化模型和工作负载，优化推理基础设施的令牌吞吐量、延迟、可扩展性和成本效率
- 设计高效利用 GPU 并持续提供稳定性能和可靠性的系统
- 随着客户需求增长，提升推理平台的可扩展性和运营成熟度
- 与 AI 训练、GPU 性能、编排和基础设施团队合作，将模型从开发环境推向生产环境
- 建立支持可靠推理服务的监控、告警和运营实践
- 诊断并解决推理工作负载中的性能、可靠性和容量问题
- 随着平台发展，参与架构决策并制定工程标准
任职要求
- 具备大规模构建和运营生产级机器学习推理或模型服务系统的经验
- 深入理解服务大型 AI 模型时涉及的延迟、吞吐量、内存利用率和成本效率权衡
- 具备可靠分布式系统或生产基础设施的设计经验
- 了解基于 GPU 的 AI 工作负载以及扩展推理系统所面临的挑战
- 具备扎实的工程基础，能够独立负责复杂技术问题
- 能够适应快速发展的环境，在其中从零开始构建系统和流程
- 具备使用 vLLM、SGLang、TensorRT-LLM、Triton Inference Server 或同类技术的经验
- 具备优化 LLM 推理工作负载或大规模 AI 服务平台的经验
- 具备运营基于 API 的 AI 产品或高流量生产服务的背景
- 具备 GPU 调度、分布式系统、Kubernetes 或云基础设施平台经验
- 熟悉量化、批处理、缓存或性能调优
- 具备在超大规模云服务商、AI 实验室、GPU 云服务商或大规模机器学习基础设施组织工作的经验
- 需要具备美国工作许可
- 目前无法提供签证赞助
- 愿意在华盛顿州贝尔维尤市中心接受混合办公安排；永久办公室设立后，每周至少在办公室工作三天
福利待遇
- 符合贝尔维尤市场水平的有竞争力基本薪资
- 基于绩效的加薪
- 年度奖金
- 长期激励
- 医疗保险
- 牙科保险
- 视力保险
- 401(k) 计划
- 公司 401(k) 匹配
- 带薪节假日
- 创业公司所有权和有意义的技术影响力
- 与经验丰富的 AI 基础设施团队合作