OpenRouter je platforma umjetne inteligencije koja programerima i timovima pruža objedinjeni način pristupa velikim jezičnim modelima različitih pružatelja i rada s njima. Njezin katalog modela uključuje opcije poput modela Mistral Small 3 i DeepSeek R1 Distill Qwen 32B, koji podržavaju aplikacije usmjerene na brzinu, točnost i fleksibilan odabir modela. OpenRouter nudi i alate za programiranje i razvoj igara, s mogućom primjenom u područjima poput marketinga, financija i obrazovanja.
Inženjer pouzdanosti sustava, operacije AI pružatelja — OpenRouter (rad na daljinu, SAD)
Brinite o pouzdanosti sustava OpenRouterovih AI pružatelja, uključujući nadzor, prebacivanje na pričuvne sustave i odgovor na incidente. Automatizirajte provjere kvalitete krajnjih točaka, upravljanje kapacitetom i spremnost za pokretanje.
Opis
- Razvijajte nadzor krajnjih točaka pružatelja te pratite latenciju, propusnost, pogreške, dostupnost i ispravnost izlaza.
- Definirajte ciljeve razine usluge (SLO) za razine pružatelja i konfigurirajte upozorenja na temelju kojih se može djelovati.
- Unaprijedite otkrivanje pogoršanih krajnjih točaka i koordinirajte automatsko preusmjeravanje prometa s timom za usmjeravanje.
- Upravljajte incidentima pružatelja tijekom dežurstva, od trijaže i ublažavanja posljedica do komunikacije s partnerima, analiza nakon incidenta i daljnjih mjera.
- Izrađujte pregledne kartice pružatelja i izvješća o SLO-ovima.
- Pružajte tehničku podršku za eskalirane probleme s krajnjim točkama pružatelja.
- Razvijajte kontinuirane canary testove i evaluacije za otkrivanje skrivenih regresija kvalitete.
- Automatizirajte operacije pružatelja, uključujući isključivanje krajnjih točaka, promjene kapaciteta, ukidanje podrške i prilagodbe ograničenja broja zahtjeva.
- Izrađujte alate za testiranje opterećenja krajnjih točaka radi procjene spremnosti za pokretanje i početnog prometa.
- Izvještavajte voditelja operacija pružatelja.
Zahtjevi
- Najmanje četiri godine iskustva u SRE-u, produkcijskom inženjerstvu ili infrastrukturnim ulogama koje podržavaju sustave s velikim prometom i izravnim kontaktom s korisnicima.
- Dobro poznavanje nadzora i uvida u sustave, uključujući metrike, praćenje tragova, zapisnike, SLO-ove, proračune pogrešaka i upozorenja na temelju kojih se može djelovati.
- Sposobnost razvoja softvera i sklonost izradi alata umjesto oslanjanju na operativne priručnike.
- Iskustvo s TypeScriptom i/ili Pythonom.
- Poznavanje načina otkazivanja distribuiranih sustava, uključujući vremenska ograničenja, ponovne pokušaje, kontrolu povratnog pritiska i djelomične prekide rada.
- Sposobnost smirenog vođenja rješavanja incidenata i jasne komunikacije s vanjskim partnerima pod pritiskom.
- Razumijevanje koncepata zaključivanja LLM-a ili spremnost na učenje o streamingu, pozivanju alata, predmemoriranju promptova, kompromisima između propusnosti i latencije te razlikama među API-jima pružatelja.
- Iskustvo kod pružatelja inferencije, laboratorija za modele, GPU cloud pružatelja ili tvrtke koja nudi API pristupnik ili CDN prednost je.
- Iskustvo s TypeScriptom, Cloudflare Workersom, Postgresom, ClickHouseom, GCP-om ili Vercelom prednost je.
- Iskustvo s usmjeravanjem, uravnoteživanjem opterećenja ili sustavima za upravljanje prometom prednost je.
- Iskustvo s evaluacijama ili sintetičkim nadzorom sustava strojnog učenja prednost je.