
高级推理工作负载优化负责人
负责在 STN 自主数据中心平台上优化客户 AI 工作负载的 GPU 性能。 将优化经验转化为可由智能体执行的修复方案,并管理内部模型服务。
描述
- 分析客户的训练和推理工作负载,定位数据加载、集合通信、内存带宽、内核、批处理和并行方面的性能瓶颈。
- 为每一代硬件制定性能基准,首先针对当前一代 NVIDIA 系统开展工作。
- 将优化经验转化为可由智能体应用于客户集群的修复方案。
- 与签订容量承诺的客户合作调优工作负载,可直接合作,也可通过客户运营团队开展。
- 作为次要职责,管理内部模型服务,包括兼顾成本与延迟的路由,以及模型版本迁移。
- 为内部推理与客户工作负载之间的 GPU 分配提供建议。
任职要求
- 具备深厚的 GPU 性能工程专长,熟悉性能分析、内存与带宽特性,并理解内核层面的工作机制。
- 具备 vLLM、SGLang 或 TensorRT-LLM 等服务框架的实操经验,了解批处理、KV 缓存管理和量化之间的权衡。
- 具备大规模分布式训练和推理经验,包括张量并行、流水线并行和数据并行。
- 具备集合通信调优经验,例如 NCCL。
- 熟练使用 Nsight、DCGM 和框架级性能分析器等工具。
- 能够向客户清晰解释性能分析结果,并将解决方案整理为可供智能体执行的内容。
- 加分项:CUDA 内核开发、大规模开放权重模型部署、基准测试设计经验,以及以往面向客户的技术工作经验。




