Ang OpenRouter ay isang platform ng artificial intelligence na nagbibigay sa mga developer at team ng pinag-isang paraan upang ma-access at magamit ang malalaking language model mula sa iba’t ibang provider. Kabilang sa catalog nito ang mga opsyon tulad ng Mistral Small 3 at DeepSeek R1 Distill Qwen 32B, na sumusuporta sa mga application na nagbibigay-priyoridad sa bilis, katumpakan, at malayang pagpili ng modelo. Nag-aalok din ang OpenRouter ng mga tool para sa coding at gaming, na maaaring gamitin sa mga larangan tulad ng marketing, pananalapi, at edukasyon.
Inhinyero ng Pagiging Maaasahan ng Site, Operasyon ng mga AI Provider — OpenRouter (Remote, US)
Pangangasiwaan ang mga sistema ng pagiging maaasahan para sa mga AI provider ng OpenRouter, kabilang ang observability, awtomatikong paglipat ng trapiko, at pagtugon sa insidente. Awtomatikong susuriin ang kalidad ng endpoint, pamamahala ng kapasidad, at kahandaan sa paglulunsad.
Paglalarawan
- Bumuo ng monitoring para sa mga endpoint ng provider at subaybayan ang latency, throughput, mga error, uptime, at kawastuhan ng output.
- Magtakda ng mga layunin sa antas ng serbisyo (SLO) para sa mga tier ng provider at mag-configure ng mga alertong may malinaw na aksiyon.
- Pagbutihin ang pagtukoy sa mga endpoint na humina ang performance at makipag-ugnayan sa routing team para sa awtomatikong paglilipat ng trapiko.
- Pamahalaan ang mga insidente sa provider habang naka-duty, mula sa triage at mitigation hanggang sa pakikipag-ugnayan sa mga partner, postmortem, at mga susunod na hakbang.
- Gumawa ng mga scorecard ng provider at ulat ng SLO.
- Magbigay ng teknikal na suporta sa escalation para sa mga isyu sa endpoint ng provider.
- Bumuo ng tuloy-tuloy na mga canary at pagsusuri upang mahuli ang mga paglala ng kalidad na maaaring hindi agad makita.
- I-automate ang mga operasyon ng provider, kabilang ang pag-disable ng endpoint, pagbabago ng kapasidad, pagtatapos ng paggamit, at pagsasaayos ng rate limit.
- Gumawa ng mga tool para sa load testing ng endpoint upang masukat ang kahandaan sa paglulunsad at paunang trapiko.
- Mag-ulat sa Manager ng Operasyon ng Provider.
Mga Kinakailangan
- Hindi bababa sa apat na taon sa mga tungkulin sa SRE, production engineering, o infrastructure na sumusuporta sa mga sistemang mataas ang trapiko at direktang ginagamit ng mga customer.
- Mahuhusay na kasanayan sa observability, kabilang ang metrics, tracing, logs, SLO, error budget, at mga alertong may malinaw na aksiyon.
- Kakayahan sa software engineering at mas gustong bumuo ng mga tool kaysa sumunod sa mga runbook.
- Karanasan sa TypeScript at/o Python.
- Kaalaman sa mga paraan ng pagkabigo ng distributed system, kabilang ang timeout, retry, backpressure, at bahagyang outage.
- Kayang mamuno sa mga insidente nang mahinahon at makipag-usap nang malinaw sa mga panlabas na partner kapag may matinding pressure.
- Pag-unawa sa mga konsepto ng LLM inference, o kahandaang matuto tungkol sa streaming, tool calling, prompt caching, mga tradeoff sa throughput at latency, at mga pagkakaiba ng API ng provider.
- Bentahe ang karanasan sa inference provider, model lab, GPU cloud, o kumpanyang API gateway o CDN.
- Bentahe ang karanasan sa TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP, o Vercel.
- Bentahe ang background sa routing, load balancing, o mga sistema ng pamamahala ng trapiko.
- Bentahe ang karanasan sa mga pagsusuri o synthetic monitoring para sa mga sistema ng machine learning.