OpenRouter on tekoälyalusta, joka tarjoaa kehittäjille ja tiimeille yhtenäisen tavan käyttää ja hyödyntää eri palveluntarjoajien suuria kielimalleja. Sen mallivalikoimaan kuuluvat esimerkiksi Mistral Small 3 ja DeepSeek R1 Distill Qwen 32B, jotka tukevat nopeutta, tarkkuutta ja joustavaa mallien valintaa painottavia sovelluksia. OpenRouter tarjoaa myös koodaukseen ja pelaamiseen tarkoitettuja työkaluja, ja sitä voidaan hyödyntää muun muassa markkinoinnissa, rahoituksessa ja koulutuksessa.
Sivuston luotettavuusinsinööri, tekoälypalveluntarjoajien operointi — OpenRouter (etätyö, Yhdysvallat)
Vastaat OpenRouterin tekoälypalveluntarjoajien luotettavuusjärjestelmistä, kuten havainnoitavuudesta, varajärjestelyistä ja häiriötilanteiden hallinnasta. Automatisoit päätepisteiden laaduntarkistuksia, kapasiteetinhallintaa ja käyttöönoton valmiuden arviointia.
Kuvaus
- Kehität palveluntarjoajien päätepisteiden valvontaa ja seuraat viivettä, läpimenoa, virheitä, käytettävyyttä ja tulosten oikeellisuutta.
- Määrittelet palvelutasotavoitteet (SLO) palveluntarjoajatasoille ja määrität toimintakelpoiset hälytykset.
- Parannat heikentyneen suorituskyvyn päätepisteiden tunnistusta ja koordinoit automaattista liikenteen siirtoa varareiteille reititystiimin kanssa.
- Hallitset palveluntarjoajiin liittyviä päivystystilanteita alkuselvityksestä ja lieventämisestä kumppaniviestintään, jälkiarviointeihin ja jatkotoimiin.
- Laadit palveluntarjoajien tuloskortteja ja SLO-raportteja.
- Tarjoat teknistä eskalaatiotukea palveluntarjoajien päätepisteongelmissa.
- Kehität jatkuvia canary-testejä ja arviointeja piiloon jäävien laatuheikennysten havaitsemiseksi.
- Automatisoit palveluntarjoajien operointia, kuten päätepisteiden käytöstä poistamista, kapasiteettimuutoksia, vanhentuvien palveluiden alasajoa ja nopeusrajoitusten säätöä.
- Luot päätepisteiden kuormitustestaustyökaluja käyttöönoton valmiuden ja alkuvaiheen liikenteen arviointiin.
- Raportoit palveluntarjoajaoperaatioiden päällikölle.
Vaatimukset
- Vähintään neljän vuoden kokemus SRE-, tuotantotekniikan tai infrastruktuurin tehtävistä, joissa tuetaan vilkkaita asiakasjärjestelmiä.
- Vahva havainnoitavuusosaaminen, mukaan lukien mittarit, jäljitys, lokit, SLO-tavoitteet, virhebudjetit ja toimintakelpoiset hälytykset.
- Ohjelmistokehitystaitoja ja halu rakentaa työkaluja valmiiden toimintaohjeiden noudattamisen sijaan.
- Kokemusta TypeScriptistä ja/tai Pythonista.
- Hajautettujen järjestelmien vikatilanteiden tuntemusta, kuten aikakatkaisuja, uudelleenyrityksiä, kuormituksen hallintaa ja osittaisia käyttökatkoja.
- Kyky johtaa häiriötilanteita rauhallisesti ja viestiä selkeästi ulkoisten kumppanien kanssa paineen alla.
- LLM-päättelyn käsitteiden tuntemusta tai halua oppia suoratoistosta, työkalukutsuista, kehotteiden välimuistista, suorituskyvyn ja viiveen kompromisseista sekä palveluntarjoajien API-eroista.
- Kokemus päättelypalveluntarjoajalla, mallilaboratoriossa, GPU-pilvipalvelussa tai API-yhdyskäytävä- tai CDN-yrityksessä katsotaan eduksi.
- Kokemus TypeScriptistä, Cloudflare Workersista, Postgresista, ClickHousesta, GCP:stä tai Vercelistä katsotaan eduksi.
- Tausta reititys-, kuormantasaus- tai liikenteenhallintajärjestelmistä katsotaan eduksi.
- Kokemus koneoppimisjärjestelmien arvioinneista tai synteettisestä valvonnasta katsotaan eduksi.