OpenRouter je platforma umělé inteligence, která vývojářům a týmům poskytuje jednotný způsob přístupu k velkým jazykovým modelům od různých poskytovatelů a práce s nimi. Její katalog modelů zahrnuje například Mistral Small 3 a DeepSeek R1 Distill Qwen 32B a podporuje aplikace, u nichž záleží na rychlosti, přesnosti a flexibilním výběru modelu. OpenRouter také nabízí nástroje pro programování a hry s potenciálním využitím v oblastech, jako jsou marketing, finance a vzdělávání.
Inženýr spolehlivosti webových služeb, provoz AI poskytovatelů — OpenRouter (práce na dálku, USA)
Zajišťujte spolehlivý provoz AI poskytovatelů OpenRouter včetně sledovatelnosti, přesměrování provozu a řešení incidentů. Automatizujte kontroly kvality endpointů, správu kapacity a přípravu na spuštění.
Popis
- Vyvíjejte monitorování endpointů poskytovatelů a sledujte latenci, propustnost, chyby, dostupnost a správnost výstupů.
- Stanovujte cíle úrovně služeb (SLO) pro kategorie poskytovatelů a nastavujte užitečná upozornění.
- Vylepšujte detekci problémů endpointů a koordinujte automatické přesměrování provozu s týmem pro směrování.
- Držte pohotovost při incidentech poskytovatelů: od prvotního posouzení a zmírnění dopadů přes komunikaci s partnery a následné analýzy až po navazující kroky.
- Připravujte přehledy hodnocení poskytovatelů a zprávy o SLO.
- Poskytujte technickou podporu při eskalaci problémů s endpointy poskytovatelů.
- Vyvíjejte průběžné kanárkové testy a evaluace, které zachytí jinak skryté zhoršení kvality.
- Automatizujte provoz poskytovatelů, včetně vypínání endpointů, změn kapacity, ukončování služeb a úprav limitů požadavků.
- Vytvářejte nástroje pro zátěžové testování endpointů, které ověří připravenost ke spuštění a zpracování počátečního provozu.
- Podléhejte vedoucímu provozu poskytovatelů.
Požadavky
- Nejméně čtyři roky praxe v SRE, produkčním inženýrství nebo infrastrukturních rolích, které podporují vysoce vytížené systémy pro zákazníky.
- Výborná znalost sledovatelnosti, včetně metrik, trasování, protokolů, SLO, rozpočtů chyb a užitečných upozornění.
- Schopnost vyvíjet software a preference pro tvorbu nástrojů před pouhým dodržováním provozních postupů.
- Zkušenosti s TypeScriptem a/nebo Pythonem.
- Znalost způsobů selhání distribuovaných systémů, včetně časových limitů, opakování požadavků, zpětného tlaku a částečných výpadků.
- Schopnost klidně vést řešení incidentů a jasně komunikovat s externími partnery pod tlakem.
- Znalost inference LLM nebo ochota se naučit principy streamování, volání nástrojů, ukládání promptů do mezipaměti, kompromisy mezi propustností a latencí a rozdíly mezi API poskytovatelů.
- Zkušenosti u poskytovatele inference, v modelové laboratoři, GPU cloudu nebo ve společnosti zaměřené na API brány či CDN jsou výhodou.
- Zkušenosti s TypeScriptem, Cloudflare Workers, Postgres, ClickHouse, GCP nebo Vercel jsou výhodou.
- Zkušenosti se směrováním, rozkládáním zátěže nebo systémy pro řízení provozu jsou výhodou.
- Zkušenosti s evaluacemi nebo syntetickým monitorováním systémů strojového učení jsou výhodou.