OpenRouter
OpenRouter
OpenRouter ist eine Plattform für künstliche Intelligenz, die Entwicklerinnen, Entwicklern und Teams einen einheitlichen Zugang zu großen Sprachmodellen verschiedener Anbieter ermöglicht. Der Modellkatalog umfasst unter anderem Mistral Small 3 und DeepSeek R1 Distill Qwen 32B und unterstützt Anwendungen, bei denen Geschwindigkeit, Genauigkeit und eine flexible Modellauswahl im Vordergrund stehen. OpenRouter bietet außerdem Werkzeuge für Programmierung und Gaming mit möglichen Einsatzbereichen unter anderem in Marketing, Finanzwesen und Bildung.

Site Reliability Engineer für KI-Anbieterbetrieb — OpenRouter (Remote, USA)

Sichere den zuverlässigen Betrieb der KI-Anbieter von OpenRouter – mit Observability, Failover und Incident-Response. Automatisiere Qualitätsprüfungen, Kapazitätsmanagement und die Bereitschaft für Produktstarts.

Beschreibung

  • Entwickle Monitoring für Anbieterendpunkte und erfasse Latenz, Durchsatz, Fehler, Verfügbarkeit und Ausgabekorrektheit.
  • Lege Service-Level-Ziele (SLOs) für Anbieterklassen fest und richte umsetzbare Warnmeldungen ein.
  • Verbessere die Erkennung beeinträchtigter Endpunkte und stimme automatisches Traffic-Failover mit dem Routing-Team ab.
  • Betreue Bereitschaftsvorfälle bei Anbietern – von der ersten Einschätzung und Eindämmung bis zur Kommunikation mit Partnern, Nachbesprechungen und Folgemaßnahmen.
  • Erstelle Anbieter-Scorecards und SLO-Berichte.
  • Unterstütze bei der technischen Eskalation von Problemen mit Anbieterendpunkten.
  • Entwickle fortlaufende Canary-Tests und Evaluierungen, um sonst unbemerkte Qualitätsverschlechterungen zu erkennen.
  • Automatisiere den Anbieterbetrieb, darunter das Deaktivieren von Endpunkten, Kapazitätsänderungen, Abkündigungen und Anpassungen von Ratenlimits.
  • Erstelle Lasttestwerkzeuge für Endpunkte, um die Startbereitschaft und den anfänglichen Traffic zu prüfen.
  • Du berichtest an die Leitung des Provider Operations.

Anforderungen

  • Mindestens vier Jahre Berufserfahrung in den Bereichen SRE, Production Engineering oder Infrastruktur für stark frequentierte, kundenorientierte Systeme.
  • Fundierte Observability-Kenntnisse, darunter Metriken, Tracing, Logs, SLOs, Error Budgets und umsetzbare Alarmierung.
  • Softwareentwicklungskompetenz und die Vorliebe, Werkzeuge zu entwickeln, statt Runbooks abzuarbeiten.
  • Erfahrung mit TypeScript und/oder Python.
  • Kenntnisse zu Fehlermodi verteilter Systeme, darunter Timeouts, Wiederholungsversuche, Backpressure und Teilausfälle.
  • Fähigkeit, Vorfälle souverän zu leiten und unter Druck klar mit externen Partnern zu kommunizieren.
  • Verständnis von LLM-Inferenz oder Bereitschaft, sich in Streaming, Tool-Aufrufe, Prompt-Caching, Abwägungen zwischen Durchsatz und Latenz sowie Unterschiede zwischen Anbieter-APIs einzuarbeiten.
  • Erfahrung bei einem Inferenzanbieter, Model Lab, GPU-Cloud-, API-Gateway- oder CDN-Unternehmen ist von Vorteil.
  • Erfahrung mit TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP oder Vercel ist von Vorteil.
  • Erfahrung mit Routing-, Load-Balancing- oder Traffic-Management-Systemen ist von Vorteil.
  • Erfahrung mit Evaluierungen oder synthetischem Monitoring für Machine-Learning-Systeme ist von Vorteil.

Ähnliche Stellen

Ford Motor Company

Einkäufer:in für Front-End-Module im Exterieur — Ford Motor Company

Ford Motor Company

Verantwortung für Fords Beschaffung, Lieferantenverhandlungen und Kostenstrategie für Exterieurmodule in Nordamerika. Abstimmung von Geschäftsplänen, Lieferungen und bereichsübergreifenden Fahrzeugprogrammen.

Öffnen
SBT Global Co., Ltd.

Junior Front-End-Entwickler mit Koreanischkenntnissen

SBT Global Co., Ltd.

Entwickle responsive Benutzeroberflächen mit React, jQuery, CSS und HTML. Arbeite mit Design- und Backend-Teams an skalierbaren Anwendungen mit Content-Management-Systemen.

Öffnen
B&A Consulting Srl

Senior-Entwickler für React und React Native

B&A Consulting Srl

Erfahrene:r Frontend-Entwickler:in für Web- und Mobilanwendungen mit React und React Native bei B&A Consulting, einer italienischen IT-Beratungs- und Digitalentwicklungsagentur. Die Rolle umfasst die Pflege komplexer Codebasen und CI/CD-Pipelines.

Öffnen