OpenRouter on tehisintellekti platvorm, mis pakub arendajatele ja meeskondadele ühtset võimalust eri pakkujate suurte keelemudelite kasutamiseks ja nendega töötamiseks. Selle mudelivalikus on näiteks Mistral Small 3 ja DeepSeek R1 Distill Qwen 32B, mis toetavad kiirust, täpsust ja paindlikku mudelivalikut väärtustavaid rakendusi. OpenRouter pakub ka programmeerimiseks ja mängude arendamiseks mõeldud tööriistu ning seda saab kasutada muu hulgas turunduses, rahanduses ja hariduses.
Saidi töökindlusinsener, tehisintellekti teenusepakkujate operatsioonid — OpenRouter (kaugtöö, USA)
Haldad OpenRouteri tehisintellekti teenusepakkujate töökindlussüsteeme, sealhulgas jälgitavust, varundusmarsruutimist ja intsidentidele reageerimist. Automatiseerid lõpp-punktide kvaliteedikontrolle, võimsuse haldust ja käivitamisvalmiduse hindamist.
Kirjeldus
- Arendad teenusepakkujate lõpp-punktide monitooringut ning jälgid latentsust, läbilaskevõimet, vigu, käideldavust ja väljundi korrektsust.
- Määratled teenustaseme eesmärgid (SLO-d) teenusepakkujate tasemetele ja seadistad rakendatavad häired.
- Täiustad halvenenud lõpp-punktide tuvastamist ning koordineerid marsruutimise meeskonnaga liikluse automaatset ümbersuunamist.
- Haldad teenusepakkujatega seotud valveintsidente alates esmasest hindamisest ja leevendamisest kuni partneritega suhtlemise, järelanalüüside ja edasiste tegevusteni.
- Koostad teenusepakkujate tulemuskaarte ja SLO-aruandeid.
- Pakud tehnilist eskalatsioonituge teenusepakkujate lõpp-punktidega seotud probleemide korral.
- Arendad pidevaid canary-teste ja hindamisi, et tuvastada muidu märkamatuks jäävaid kvaliteedilangusi.
- Automatiseerid teenusepakkujate operatsioone, sealhulgas lõpp-punktide sulgemist, võimsuse muutmist, kasutusest kõrvaldamist ja päringupiirangute kohandamist.
- Lood lõpp-punktide koormustestimise tööriistu käivitamisvalmiduse ja esialgse liikluse hindamiseks.
- Allud teenusepakkujate operatsioonide juhile.
Nõuded
- Vähemalt neli aastat kogemust SRE, tootmistehnika või taristu rollides, kus toetatakse suure liiklusega kliendisüsteeme.
- Tugevad jälgitavuse oskused, sealhulgas mõõdikud, jäljed, logid, SLO-d, veaeelarved ja rakendatavad häired.
- Tarkvaraarenduse oskus ja eelistus tööriistade loomisele käitusjuhendite järgimise asemel.
- TypeScripti ja/või Pythoni kogemus.
- Hajussüsteemide rikkestsenaariumide tundmine, sealhulgas ajalõpud, korduskatsed, koormuse tagasisidestamine ja osalised katkestused.
- Oskus intsidente rahulikult juhtida ja surve all välispartneritega selgelt suhelda.
- LLM-i inferentsi mõistete tundmine või valmisolek õppida voogedastust, tööriistakutseid, promptide vahemällu salvestamist, läbilaskevõime ja latentsuse kompromisse ning teenusepakkujate API-de erinevusi.
- Inferentsi teenusepakkuja, mudelilabori, GPU-pilve või API-lüüsi või CDN-ettevõtte kogemus tuleb kasuks.
- TypeScripti, Cloudflare Workersi, Postgresi, ClickHouse'i, GCP või Verceli kogemus tuleb kasuks.
- Marsruutimise, koormuse tasakaalustamise või liikluse haldamise süsteemide taust tuleb kasuks.
- Masinõppesüsteemide hindamise või sünteetilise monitooringu kogemus tuleb kasuks.