Baseten 为部署机器学习和人工智能应用的企业提供模型推理基础设施。其平台专为快速、可扩展的服务而构建，结合了高吞吐量推理、快速部署、自动扩缩容、安全的企业级模型服务，以及对开源模型打包的支持。Baseten 帮助工程和机器学习团队应对模型基础设施的运营需求，使其能够专注于开发领域专属模型。公司业务涵盖人工智能、软件即服务和企业技术领域，团队规模为 11 至 50 人。
Baseten 推理性能软件工程师（混合办公）
Baseten 正在招聘推理性能工程师，负责优化大语言模型运行时、GPU 内核和模型服务系统。 该职位专注于提升生产环境中的推理速度、硬件利用率和成本效率。
描述
- 将量化、推测解码、KV 缓存复用、分块预填充、LoRA、引导式生成以及自定义调度或路由等先进推理方法投入生产。
- 分析完整的推理流水线，优化内核开销、内存布局、请求调度、预填充与解码分离，以及缓存感知路由。
- 在平衡延迟、吞吐量和成本的同时，提高每 GPU 小时生成的令牌数和利用率。
- 在新硬件平台上部署并优化新兴模型架构。
- 创建覆盖模型类型、批量大小、序列长度和硬件配置的基准测试。
- 向 vLLM、SGLang 和 TensorRT-LLM 等开源推理项目提交改进。
- 与模型、基础设施和客户支持团队合作，实现可量化的性能提升。
任职要求
- 计算机科学、工程、数学或相关学科的学士、硕士或博士学位。
- 具备至少一种通用编程语言的专业经验，包括 Python 或 C++。
- 了解量化、推测解码和连续批处理等大语言模型优化方法。
- 熟练掌握机器学习库，尤其是 PyTorch、TensorRT 或 TensorRT-LLM。
- 对大语言模型表现出浓厚兴趣，并具备实践经验。
- 深入理解 GPU 架构。
福利待遇
- 具有竞争力的薪酬方案，并包含有意义的股权参与。
- 美国员工可享受全面的医疗、牙科和视力保险，保障范围涵盖员工及其家属。
- 灵活的带薪休假，以及公司统一的冬季假期。
- 带薪育儿假。
- 通过 Carrot 津贴提供生育和家庭组建支持。
- 美国员工可参加由公司协助办理的 401(k) 计划。
- 有机会与多家机器学习初创公司合作，获得丰富的学习和职业人脉拓展机会。