OpenRouter er en plattform for kunstig intelligens som gir utviklere og team en samlet måte å få tilgang til og arbeide med store språkmodeller fra ulike leverandører. Modellkatalogen omfatter alternativer som Mistral Small 3 og DeepSeek R1 Distill Qwen 32B, og støtter applikasjoner som prioriterer hastighet, nøyaktighet og fleksibelt modellvalg. OpenRouter tilbyr også verktøy for programmering og spillutvikling, med mulige bruksområder innen blant annet markedsføring, finans og utdanning.
Site Reliability Engineer, drift av AI-leverandører — OpenRouter (fjernarbeid, USA)
Drift pålitelighetssystemer for OpenRouters AI-leverandører, med ansvar for observerbarhet, failover og hendelseshåndtering. Automatiser kvalitetssjekker av endepunkter, kapasitetsstyring og klargjøring for lansering.
Beskrivelse
- Utvikle overvåking av leverandørendepunkter og følg med på latenstid, gjennomstrømning, feil, oppetid og korrektheten til resultater.
- Definer mål for tjenestenivå (SLO-er) for leverandørnivåer, og konfigurer handlingsrettede varsler.
- Forbedre oppdagelsen av forringede endepunkter og koordiner automatisk trafikkfailover med routingteamet.
- Håndter hendelser hos leverandører under vakt, fra triagering og skadebegrensning til kommunikasjon med partnere, etteranalyser og oppfølging.
- Utarbeid leverandøroversikter og SLO-rapporter.
- Gi teknisk eskaleringsstøtte ved problemer med leverandørendepunkter.
- Utvikle løpende canary-tester og evalueringer for å fange opp kvalitetsforringelser som ellers ikke ville blitt oppdaget.
- Automatiser leverandørdriften, inkludert deaktivering av endepunkter, kapasitetsendringer, utfasinger og justeringer av hastighetsgrenser.
- Lag verktøy for belastningstesting av endepunkter for å vurdere lanseringsberedskap og innledende trafikk.
- Rapporterer til lederen for leverandørdrift.
Krav
- Minst fire års erfaring innen SRE, produksjonsteknikk eller infrastrukturroller med støtte for kundevendte systemer med høy trafikk.
- Sterk kompetanse innen observerbarhet, inkludert måledata, tracing, logger, SLO-er, feilbudsjetter og handlingsrettet varsling.
- Kompetanse innen programvareutvikling og en preferanse for å bygge verktøy fremfor å følge runbooks.
- Erfaring med TypeScript og/eller Python.
- Kunnskap om feilmønstre i distribuerte systemer, inkludert tidsavbrudd, nye forsøk, backpressure og delvise avbrudd.
- Evne til å lede hendelser rolig og kommunisere tydelig med eksterne partnere under press.
- Forståelse av LLM-inferens, eller vilje til å lære om strømming, verktøykall, prompt-caching, avveininger mellom gjennomstrømning og latenstid samt forskjeller mellom leverandør-API-er.
- Erfaring fra en inferensleverandør, et modellaboratorium, en GPU-sky eller et API-gateway- eller CDN-selskap er en fordel.
- Erfaring med TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP eller Vercel er en fordel.
- Bakgrunn innen routing, lastbalansering eller trafikkstyringssystemer er en fordel.
- Erfaring med evalueringer eller syntetisk overvåking av maskinlæringssystemer er en fordel.