Baseten 为部署机器学习和人工智能应用的企业提供模型推理基础设施。其平台专为快速、可扩展的服务而构建，结合了高吞吐量推理、快速部署、自动扩缩容、安全的企业级模型服务，以及对开源模型打包的支持。Baseten 帮助工程和机器学习团队应对模型基础设施的运营需求，使其能够专注于开发领域专属模型。公司业务涵盖人工智能、软件即服务和企业技术领域，团队规模为 11 至 50 人。
软件工程师，LLM 推理平台 - Baseten 混合办公
为 AI 公司构建 Baseten 的分布式 LLM 推理平台。负责 Kubernetes 编排、模型 API、路由、自动扩缩容和生产可观测性等工作。
描述
- 构建大规模分布式 LLM 推理的基础设施与编排系统，涵盖路由、自动扩缩容、调度和运行时管理。
- 开发并运营支持结构化输出、工具与函数调用以及多模态服务的模型 API。
- 实施 API 版本管理、请求验证、用量计量、配额和身份验证。
- 创建涵盖指标、链路追踪和日志的监控埋点，并建立可重复的基准测试，用于评估速度、可靠性和质量。
- 制定完善的测试、发布自动化和卓越运营实践。
- 诊断并强化 Kubernetes、分布式运行时、网络和 GPU 工作负载中的生产系统。
- 与推理性能工程师及合作团队协作，交付面向客户的优化方案。
- 从架构和部署到监控及基于客户反馈的迭代，负责项目全流程推进。
- 在系统性能、可靠性、运营简便性和开发者体验之间取得平衡。
任职要求
- 计算机科学、工程或相关专业的学士、硕士或博士学位，或具备同等实践经验。
- 至少三年构建和运营分布式系统、后端基础设施或大规模 API 的经验，并且这些系统对可靠性、延迟和规模有关键要求。
- 具备低延迟、高可靠后端服务的实际负责经验，涉及速率限制、身份验证、配额、用量计量和迁移。
- 具备较强的基础设施判断力，包括性能分析、链路追踪、容量规划和 SLO 管理经验。
- 能够诊断应用层、运行时层和基础设施层的性能与可靠性问题。
- 高度重视开发者体验。
- 愿意学习新的语言、框架和系统，并对推理工程感兴趣。
- 具备出色的书面沟通与协作能力，能够清晰编写设计文档并有效开展跨职能合作。
- 拥有 vLLM、SGLang、TensorRT-LLM、TGI 或 Dynamo 等 LLM 推理引擎或框架的经验或贡献者经历者优先。
- 具备深厚的 Kubernetes 经验，包括 Operator 和自定义资源；熟悉服务网格或 API 网关者优先。
- 具备分布式调度、自动扩缩容或服务编排经验者优先。
- 具备在生产环境运行 GPU 工作负载的经验者优先。
- 具备面向开发者的基础设施或 API 背景，或参与过开源基础设施或机器学习系统贡献者优先。
- 熟悉可观测性工具、CI/CD 系统或发布自动化者优先。
福利待遇
- 具有竞争力的薪酬和有意义的股权。
- 为美国员工及其家属全额承担医疗、牙科和视力保险。
- 灵活的带薪休假，包括全公司范围的冬季休假。
- 带薪育儿假。
- 通过 Carrot 津贴提供生育和组建家庭支持。
- 为美国员工提供由公司协助安排的 401(k) 计划。
- 接触众多机器学习初创公司，获得大量学习和职业交流机会。