OpenRouter ni jukwaa la akili bandia linalowapa wasanidi programu na timu njia iliyounganishwa ya kufikia na kutumia miundo mikubwa ya lugha kutoka kwa watoa huduma mbalimbali. Orodha yake ya miundo inajumuisha chaguo kama Mistral Small 3 na DeepSeek R1 Distill Qwen 32B, zinazosaidia programu zinazotanguliza kasi, usahihi na unyumbufu wa kuchagua modeli. OpenRouter pia hutoa zana za kutengeneza programu na michezo, zikiwa na matumizi yanayowezekana katika maeneo kama uuzaji, fedha na elimu.
Mhandisi wa Uaminifu wa Tovuti, Uendeshaji wa Watoa Huduma za AI — OpenRouter (Kazi ya Mbali, Marekani)
Utaendesha mifumo ya uaminifu kwa watoa huduma za AI wa OpenRouter, ikijumuisha uangalizi, uhamishaji wa trafiki kiotomatiki na kushughulikia matukio. Utaotomatisha ukaguzi wa ubora wa endpoint, usimamizi wa uwezo na utayari wa uzinduzi.
Maelezo
- Tengeneza ufuatiliaji wa endpoint za watoa huduma na kufuatilia muda wa kusubiri, uwezo wa uchakataji, hitilafu, muda wa upatikanaji na usahihi wa matokeo.
- Weka malengo ya kiwango cha huduma (SLO) kwa viwango vya watoa huduma na usanidi arifa zinazoweza kuchochea hatua.
- Boresha ugunduzi wa endpoint zilizodhoofika na uratibu uhamishaji wa trafiki kiotomatiki pamoja na timu ya uelekezaji.
- Simamia matukio ya watoa huduma ukiwa zamu ya kuitwa, kuanzia uchunguzi wa awali na kupunguza athari hadi mawasiliano na washirika, mapitio ya baada ya tukio na hatua za ufuatiliaji.
- Tengeneza kadi za alama za watoa huduma na ripoti za SLO.
- Toa usaidizi wa kiufundi wa ngazi ya juu kwa matatizo ya endpoint za watoa huduma.
- Tengeneza canary endelevu na tathmini ili kubaini kushuka kwa ubora kunakoweza kufichika.
- Otomatisha shughuli za watoa huduma, ikijumuisha kuzima endpoint, kubadilisha uwezo, kusitisha matumizi na kurekebisha vikomo vya kasi.
- Tengeneza zana za kupima mzigo wa endpoint ili kutathmini utayari wa uzinduzi na trafiki ya awali.
- Ripoti kwa Meneja wa Uendeshaji wa Watoa Huduma.
Mahitaji
- Angalau miaka minne katika majukumu ya SRE, uhandisi wa uzalishaji au miundombinu yanayosaidia mifumo yenye trafiki nyingi inayotumiwa moja kwa moja na wateja.
- Ujuzi thabiti wa uangalizi wa mifumo, ikijumuisha vipimo, ufuatiliaji wa mfuatano, kumbukumbu, SLO, bajeti za hitilafu na arifa zinazoweza kuchochea hatua.
- Uwezo wa uhandisi wa programu na upendeleo wa kujenga zana badala ya kufuata runbook.
- Uzoefu wa TypeScript na/au Python.
- Ujuzi wa namna mifumo iliyosambazwa inavyoshindwa, ikijumuisha kuisha kwa muda, majaribio tena, backpressure na hitilafu za sehemu.
- Uwezo wa kuongoza matukio kwa utulivu na kuwasiliana wazi na washirika wa nje wakati wa shinikizo.
- Kuelewa dhana za uendeshaji wa inference ya LLM, au kuwa tayari kujifunza kuhusu utiririshaji, kuita zana, uhifadhi wa muda wa prompt, mizani kati ya uwezo wa uchakataji na muda wa kusubiri, na tofauti za API za watoa huduma.
- Uzoefu katika mtoa huduma wa inference, maabara ya modeli, huduma ya wingu ya GPU au kampuni ya API gateway au CDN ni nyongeza.
- Uzoefu wa TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP au Vercel ni nyongeza.
- Uzoefu katika uelekezaji, usawazishaji wa mzigo au mifumo ya usimamizi wa trafiki ni nyongeza.
- Uzoefu wa tathmini au ufuatiliaji sanisi wa mifumo ya ujifunzaji wa mashine ni nyongeza.