推理工程师——Adaption（混合办公，湾区）
在开发自适应智能系统的人工智能公司 Adaption，优化推理基础设施的吞吐量、成本和延迟。 改进 GPU、推理引擎和生产工作负载上的模型服务。
描述
- 负责推理技术栈成本和性能的整体工作。
- 通过 KV 缓存管理、连续批处理、推测解码和量化，提高吞吐量并降低成本和尾延迟。
- 针对真实生产流量，优化长上下文预填充和解码工作负载。
- 根据成本、容量和性能，在内部基础设施与外部供应商之间调整路由。
- 使用 vLLM、SGLang 和 TensorRT-LLM 等服务引擎，并在必要时深入框架底层工作。
- 开发性能分析和测量系统，以定位时间、内存和计算资源的使用情况。
- 与负责服务集群的工程师密切合作。
任职要求
- 具备至少五年机器学习系统、推理基础设施或性能工程经验，并取得可量化的成本或延迟改善。
- 深入了解模型服务，包括预填充与解码、内存带宽、批处理和并发。
- 具备使用 vLLM、SGLang 或 TensorRT-LLM 等服务引擎的生产经验。
- 熟练使用 Python，并精通 C++、Rust 或其他系统编程语言。
- 了解 GPU 性能相关主题，包括 CUDA、NCCL、混合精度、内存布局、内核或量化。
- 能够在混合办公模式下于湾区现场工作。
福利待遇
- 在湾区开展面对面协作，同时加入一支分布式、全球优先的团队，并参加团队线下聚会。
- 每年获得 Adaption Passport 旅行津贴，用于探索一个此前未曾到访的国家。
- 获得每周外卖或杂货配送补贴。
- 享有全面的医疗保险和充足的带薪休假。
