サイト信頼性エンジニア、AIプロバイダー運用 — OpenRouter（米国リモート）
OpenRouterのAIプロバイダー向け信頼性システムを運用します。対象には可観測性、フェイルオーバー、インシデント対応が含まれます。 エンドポイントの品質確認、キャパシティ管理、ローンチ準備を自動化します。
仕事内容
- プロバイダーのエンドポイント監視を開発し、レイテンシ、スループット、エラー、稼働時間、出力の正確性を追跡する。
- プロバイダーの各ティアにサービスレベル目標（SLO）を定め、対応につながるアラートを設定する。
- 劣化したエンドポイントの検出を改善し、ルーティングチームと連携してトラフィックの自動フェイルオーバーを調整する。
- オンコール中のプロバイダーインシデントを、トリアージと緩和からパートナーとの連絡、事後分析、フォローアップまで管理する。
- プロバイダーのスコアカードとSLOレポートを作成する。
- プロバイダーのエンドポイント問題に関する技術的なエスカレーションに対応する。
- 継続的なカナリアテストと評価を開発し、見落とされがちな品質劣化を検出する。
- エンドポイントの無効化、容量変更、非推奨化、レート制限の調整など、プロバイダー運用を自動化する。
- ローンチ準備状況と初期トラフィックを評価するエンドポイント負荷テストツールを作成する。
- プロバイダー運用マネージャーに報告する。
応募要件
- 高トラフィックの顧客向けシステムを支えるSRE、本番環境エンジニアリング、またはインフラ職で4年以上の経験。
- メトリクス、トレーシング、ログ、SLO、エラーバジェット、対応につながるアラートを含む、優れた可観測性のスキル。
- ソフトウェアエンジニアリング能力があり、手順書に従うよりツールを構築することを好むこと。
- TypeScriptおよび／またはPythonの経験。
- タイムアウト、リトライ、バックプレッシャー、部分的な障害など、分散システムの障害モードに関する知識。
- 冷静にインシデントを主導し、プレッシャーのかかる状況でも外部パートナーと明確にコミュニケーションできること。
- LLM推論の概念を理解していること、またはストリーミング、ツール呼び出し、プロンプトキャッシュ、スループットとレイテンシのトレードオフ、プロバイダーAPIの違いを学ぶ意欲があること。
- 推論プロバイダー、モデルラボ、GPUクラウド、APIゲートウェイ、またはCDN企業での経験があれば尚可。
- TypeScript、Cloudflare Workers、Postgres、ClickHouse、GCP、またはVercelの経験があれば尚可。
- ルーティング、ロードバランシング、またはトラフィック管理システムの経験があれば尚可。
- 機械学習システムの評価または合成モニタリングの経験があれば尚可。