站点可靠性工程师，AI 提供商运营 — OpenRouter（美国远程）
负责 OpenRouter AI 提供商的可靠性系统，包括可观测性、故障切换和事件响应。 自动化端点质量检查、容量管理和上线准备工作。
描述
- 为提供商端点开发监控，跟踪延迟、吞吐量、错误、运行时间和输出正确性。
- 为不同级别的提供商定义服务级别目标（SLO），并配置可执行的告警。
- 改进故障端点检测，并与路由团队协调自动流量切换。
- 负责值班期间的提供商事件，从分诊和缓解到合作伙伴沟通、事后复盘及后续行动。
- 制作提供商评分卡和 SLO 报告。
- 为提供商端点问题提供技术升级支持。
- 开发持续运行的金丝雀测试和评估，以发现原本难以察觉的质量回归。
- 自动化提供商运营，包括停用端点、调整容量、弃用服务和修改速率限制。
- 创建端点负载测试工具，以评估上线准备情况和初始流量。
- 向提供商运营经理汇报。
任职要求
- 至少四年 SRE、生产工程或基础设施相关工作经验，曾支持高流量、面向客户的系统。
- 具备扎实的可观测性技能，包括指标、追踪、日志、SLO、错误预算和可执行的告警。
- 具备软件工程能力，并倾向于构建工具而非照章执行操作手册。
- 具备 TypeScript 和/或 Python 经验。
- 了解分布式系统的故障模式，包括超时、重试、背压和局部中断。
- 能够冷静地主导事件，并在压力下与外部合作伙伴清晰沟通。
- 了解 LLM 推理概念，或愿意学习流式传输、工具调用、提示缓存、吞吐量与延迟之间的权衡，以及不同提供商 API 的差异。
- 有推理服务提供商、模型实验室、GPU 云服务商、API 网关或 CDN 公司工作经验者优先。
- 有 TypeScript、Cloudflare Workers、Postgres、ClickHouse、GCP 或 Vercel 经验者优先。
- 有路由、负载均衡或流量管理系统相关背景者优先。
- 有机器学习系统评估或合成监控经验者优先。