Az OpenRouter egy mesterségesintelligencia-platform, amely egységes hozzáférést és munkafolyamatot biztosít a fejlesztők és csapatok számára a különböző szolgáltatók nagy nyelvi modelljeihez. Modellkatalógusában többek között a Mistral Small 3 és a DeepSeek R1 Distill Qwen 32B is megtalálható, így olyan alkalmazásokat támogat, amelyek a sebességet, a pontosságot és a rugalmas modellválasztást helyezik előtérbe. Az OpenRouter kódoláshoz és játékfejlesztéshez is kínál eszközöket, és olyan területeken is alkalmazható, mint a marketing, a pénzügy és az oktatás.
Site Reliability Engineer, AI-szolgáltatói üzemeltetés — OpenRouter (távmunka, USA)
Az OpenRouter AI-szolgáltatóinak megbízhatósági rendszereit üzemelteti, többek között a megfigyelhetőséget, az átállást és az incidenskezelést. Automatizálja a végpontok minőségellenőrzését, a kapacitáskezelést és az indulásra való felkészülést.
Leírás
- Figyelőrendszereket fejleszt a szolgáltatói végpontokhoz, és nyomon követi a késleltetést, az átviteli sebességet, a hibákat, az üzemidőt és a kimenetek helyességét.
- Szolgáltatási szintű célokat (SLO-kat) határoz meg a szolgáltatói szintekhez, és érdemi beavatkozásra lehetőséget adó riasztásokat állít be.
- Javítja a hibásan működő végpontok észlelését, és az útválasztási csapattal együttműködve koordinálja az automatikus forgalomátirányítást.
- Az ügyeletes szolgáltatói incidenseket az első vizsgálattól és enyhítéstől a partnerkommunikáción és az utólagos elemzésen át a következő intézkedésekig kezeli.
- Szolgáltatói értékelőlapokat és SLO-jelentéseket készít.
- Technikai eszkalációs támogatást nyújt a szolgáltatói végpontokkal kapcsolatos problémákhoz.
- Folyamatos canary teszteket és értékeléseket fejleszt a rejtve maradó minőségromlás felismerésére.
- Automatizálja a szolgáltatói műveleteket, beleértve a végpontok letiltását, a kapacitás módosítását, a kivezetéseket és a sebességkorlátozások beállítását.
- Végpont-terheléses tesztelő eszközöket készít az indulásra való felkészültség és a kezdeti forgalom felmérésére.
- A Szolgáltatói Üzemeltetési Vezetőnek jelent.
Követelmények
- Legalább négy év tapasztalat SRE-, élesüzemi mérnöki vagy infrastruktúra-szerepkörben, nagy forgalmú, ügyfelek által használt rendszerek támogatásával.
- Erős megfigyelhetőségi készségek, beleértve a metrikákat, trace-eket, naplókat, SLO-kat, hibakereteket és a beavatkozást segítő riasztásokat.
- Szoftvermérnöki képesség, valamint az eszközök építésének előnyben részesítése az üzemeltetési útmutatók követésével szemben.
- TypeScript- és/vagy Python-tapasztalat.
- A elosztott rendszerek hibamódjainak ismerete, beleértve az időtúllépéseket, újrapróbálkozásokat, visszanyomást és részleges kieséseket.
- Incidensek nyugodt vezetésének képessége és világos kommunikáció külső partnerekkel nyomás alatt.
- Az LLM-inferencia fogalmainak ismerete, vagy hajlandóság a streamelés, eszközhívás, promptgyorsítótárazás, átviteli sebesség és késleltetés közötti kompromisszumok, valamint a szolgáltatói API-k eltéréseinek megtanulására.
- Inference-szolgáltatónál, modell-laborban, GPU-felhőnél, API-átjáróval vagy CDN-vállalatnál szerzett tapasztalat előnyt jelent.
- TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP vagy Vercel ismerete előnyt jelent.
- Útválasztási, terheléselosztási vagy forgalomkezelési rendszerek terén szerzett tapasztalat előnyt jelent.
- Gépi tanulási rendszerek értékelésében vagy szintetikus monitorozásában szerzett tapasztalat előnyt jelent.