OpenRouter
OpenRouter
OpenRouter är en plattform för artificiell intelligens som ger utvecklare och team ett enhetligt sätt att få tillgång till och arbeta med stora språkmodeller från olika leverantörer. Modellkatalogen innehåller alternativ som Mistral Small 3 och DeepSeek R1 Distill Qwen 32B, vilket stöder applikationer där snabbhet, noggrannhet och flexibla modellval prioriteras. OpenRouter erbjuder även verktyg för programmering och spelutveckling, med möjliga användningsområden inom bland annat marknadsföring, finans och utbildning.

Site Reliability Engineer, drift av AI-leverantörer — OpenRouter (distans, USA)

Ansvara för tillförlitlighetssystem för OpenRouters AI-leverantörer, med fokus på observerbarhet, redundansväxling och incidenthantering. Automatisera kvalitetskontroller av ändpunkter, kapacitetshantering och lanseringsberedskap.

Beskrivning

  • Utveckla övervakning för leverantörernas ändpunkter och följ upp latens, genomströmning, fel, drifttid och resultatens korrekthet.
  • Definiera mål för servicenivåer (SLO:er) för leverantörsnivåer och konfigurera åtgärdsbara larm.
  • Förbättra upptäckten av försämrade ändpunkter och samordna automatisk trafikväxling med routingteamet.
  • Hantera incidenter hos leverantörer under beredskap, från triagering och begränsning till partnerkommunikation, efteranalyser och uppföljningsåtgärder.
  • Ta fram leverantörsöversikter och SLO-rapporter.
  • Ge tekniskt eskaleringsstöd för problem med leverantörers ändpunkter.
  • Utveckla löpande canary-tester och utvärderingar för att upptäcka annars dolda kvalitetsförsämringar.
  • Automatisera leverantörsdriften, inklusive avaktivering av ändpunkter, kapacitetsändringar, utfasningar och justeringar av hastighetsbegränsningar.
  • Skapa verktyg för belastningstester av ändpunkter för att bedöma lanseringsberedskap och initial trafik.
  • Rapportera till chefen för leverantörsdrift.

Krav

  • Minst fyra års erfarenhet av SRE, produktionsutveckling eller infrastrukturarbete med stöd för kundnära system med hög trafik.
  • Goda kunskaper i observerbarhet, inklusive mätvärden, spårning, loggar, SLO:er, felbudgetar och åtgärdsbara larm.
  • Förmåga inom mjukvaruutveckling och en preferens för att bygga verktyg framför att följa körinstruktioner.
  • Erfarenhet av TypeScript och/eller Python.
  • Kunskap om feltillstånd i distribuerade system, däribland timeouter, återförsök, belastningsstyrning och partiella avbrott.
  • Förmåga att leda incidenter lugnt och kommunicera tydligt med externa partner under press.
  • Förståelse för inferens med stora språkmodeller (LLM) eller vilja att lära sig om strömning, verktygsanrop, promptcachning, avvägningar mellan genomströmning och latens samt skillnader mellan leverantörers API:er.
  • Erfarenhet från en inferensleverantör, ett modellaboratorium, ett GPU-moln eller ett API-gateway- eller CDN-företag är meriterande.
  • Erfarenhet av TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP eller Vercel är meriterande.
  • Bakgrund inom routing, lastbalansering eller trafikhanteringssystem är meriterande.
  • Erfarenhet av utvärderingar eller syntetisk övervakning för maskininlärningssystem är meriterande.

Relaterade jobb

Sol de Janeiro

Tillfällig specialist inom leverantörsreskontra — Sol de Janeiro, New York

Sol de Janeiro

Hantera fakturor, betalningar och avstämningar för Sol de Janeiros team för leverantörsreskontra. Rollen omfattar även leverantörsintroduktion, månadsbokslut och förbättringar av arbetsflöden.

Öppna