網站可靠性工程師,AI 供應商營運 — OpenRouter(美國遠端)
負責 OpenRouter AI 供應商的可靠性系統,包括可觀測性、故障切換和事件回應。 自動化端點品質檢查、容量管理和上線準備工作。
說明
- 為供應商端點開發監控,追蹤延遲、吞吐量、錯誤、運作時間和輸出正確性。
- 為不同級別的供應商定義服務層級目標(SLO),並設定可採取行動的警示。
- 改善故障端點偵測,並與路由團隊協調自動流量切換。
- 負責值班期間的供應商事件,從分類和緩解到合作夥伴溝通、事後檢討及後續行動。
- 製作供應商評分卡和 SLO 報告。
- 為供應商端點問題提供技術升級支援。
- 開發持續執行的金絲雀測試和評估,以找出原本難以察覺的品質退化。
- 自動化供應商營運,包括停用端點、調整容量、淘汰服務和修改速率限制。
- 建立端點負載測試工具,以評估上線準備情況和初始流量。
- 向供應商營運經理回報。
職位要求
- 至少四年 SRE、生產工程或基礎架構相關工作經驗,曾支援高流量、面向客戶的系統。
- 具備扎實的可觀測性技能,包括指標、追蹤、日誌、SLO、錯誤預算和可採取行動的警示。
- 具備軟體工程能力,且偏好打造工具而非依照操作手冊執行。
- 具備 TypeScript 和/或 Python 經驗。
- 了解分散式系統的故障模式,包括逾時、重試、背壓和局部中斷。
- 能冷靜地主導事件,並在壓力下與外部合作夥伴清楚溝通。
- 了解 LLM 推論概念,或願意學習串流、工具呼叫、提示快取、吞吐量與延遲之間的取捨,以及不同供應商 API 的差異。
- 有推論服務供應商、模型實驗室、GPU 雲端服務商、API 閘道或 CDN 公司工作經驗者佳。
- 有 TypeScript、Cloudflare Workers、Postgres、ClickHouse、GCP 或 Vercel 經驗者佳。
- 具備路由、負載平衡或流量管理系統相關背景者佳。
- 有機器學習系統評估或合成監控經驗者佳。
