OpenRouter
OpenRouter
OpenRouter is een platform voor kunstmatige intelligentie waarmee ontwikkelaars en teams op één centrale manier toegang krijgen tot grote taalmodellen van verschillende aanbieders en ermee kunnen werken. De modelcatalogus omvat onder andere Mistral Small 3 en DeepSeek R1 Distill Qwen 32B en ondersteunt toepassingen waarbij snelheid, nauwkeurigheid en flexibele modelkeuze centraal staan. OpenRouter biedt ook hulpmiddelen voor programmeren en gaming, met mogelijke toepassingen op gebieden zoals marketing, financiën en onderwijs.

Site Reliability Engineer voor AI-provideroperaties — OpenRouter (remote, VS)

Zorg voor de betrouwbaarheid van de AI-providers van OpenRouter met observability, failover en incidentrespons. Automatiseer kwaliteitscontroles, capaciteitsbeheer en de voorbereiding op lanceringen.

Beschrijving

  • Ontwikkel monitoring voor provider-endpoints en houd latency, throughput, fouten, uptime en de juistheid van uitvoer bij.
  • Stel service-level objectives (SLO's) op voor providerniveaus en configureer meldingen waarop actie kan worden ondernomen.
  • Verbeter de detectie van verslechterde endpoints en stem automatische verkeersfailover af met het routingteam.
  • Beheer incidenten rond providers tijdens bereikbaarheidsdiensten: van triage en beperking van de impact tot communicatie met partners, postmortems en vervolgacties.
  • Maak providerscorecards en SLO-rapporten.
  • Bied technische escalatieondersteuning bij problemen met provider-endpoints.
  • Ontwikkel doorlopende canarytests en evaluaties om kwaliteitsregressies op te sporen die anders onopgemerkt blijven.
  • Automatiseer provideroperaties, waaronder het uitschakelen van endpoints, capaciteitswijzigingen, uitfaseringen en aanpassingen van rate limits.
  • Ontwikkel loadtesttools voor endpoints om de lanceringsgereedheid en het initiële verkeer te beoordelen.
  • Je rapporteert aan de Manager Provider Operations.

Vereisten

  • Minimaal vier jaar ervaring in SRE, production engineering of infrastructuurfuncties ter ondersteuning van systemen met veel verkeer en rechtstreeks klantcontact.
  • Sterke vaardigheden op het gebied van observability, waaronder metrics, tracing, logs, SLO's, error budgets en meldingen waarop actie kan worden ondernomen.
  • Vaardigheid in softwareontwikkeling en een voorkeur voor het bouwen van tools boven het volgen van runbooks.
  • Ervaring met TypeScript en/of Python.
  • Kennis van storingsscenario's in gedistribueerde systemen, zoals time-outs, retries, backpressure en gedeeltelijke uitval.
  • Je kunt incidenten kalm leiden en onder druk helder communiceren met externe partners.
  • Inzicht in LLM-inferentie, of bereidheid om te leren over streaming, tool calling, prompt caching, afwegingen tussen throughput en latency en verschillen tussen provider-API's.
  • Ervaring bij een inferentieprovider, modellab, GPU-cloudbedrijf, API-gatewaybedrijf of CDN-bedrijf is een pluspunt.
  • Ervaring met TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP of Vercel is een pluspunt.
  • Ervaring met routing-, loadbalancing- of verkeersbeheersystemen is een pluspunt.
  • Ervaring met evaluaties of synthetische monitoring voor machinelearningsystemen is een pluspunt.

Gerelateerde vacatures

Peraton

Directeur bedrijfsontwikkeling Peraton, DIA

Peraton

Leid de bedrijfsontwikkeling van Peraton voor missies van de Defense Intelligence Agency, van strategische accountplanning tot het indienen van voorstellen. Geef vorm aan kansen, klantrelaties en partnerschappen om Peratons activiteiten op het gebied van nationale veiligheid uit te breiden.

Openen