OpenRouter je platforma umelej inteligencie, ktorá vývojárom a tímom poskytuje jednotný spôsob prístupu k veľkým jazykovým modelom od rôznych poskytovateľov a práce s nimi. Jej katalóg modelov zahŕňa možnosti ako Mistral Small 3 a DeepSeek R1 Distill Qwen 32B, ktoré podporujú aplikácie zamerané na rýchlosť, presnosť a flexibilný výber modelu. OpenRouter ponúka aj nástroje na programovanie a tvorbu hier s možným využitím v oblastiach, ako sú marketing, financie a vzdelávanie.
Inžinier spoľahlivosti systémov, prevádzka poskytovateľov AI — OpenRouter (práca na diaľku, USA)
Zabezpečujte spoľahlivosť systémov poskytovateľov AI v OpenRouteri vrátane monitorovania, záložného prepínania a reakcie na incidenty. Automatizujte kontroly kvality koncových bodov, riadenie kapacity a pripravenosť na spustenie.
Popis
- Vyvíjajte monitorovanie koncových bodov poskytovateľov a sledujte latenciu, priepustnosť, chyby, dostupnosť a správnosť výstupov.
- Definujte ciele úrovne služieb (SLO) pre jednotlivé úrovne poskytovateľov a nastavujte upozornenia, ktoré vedú ku konkrétnym krokom.
- Zlepšujte detekciu zhoršeného výkonu koncových bodov a koordinujte automatické presmerovanie prevádzky so smerovacím tímom.
- Riešte pohotovostné incidenty u poskytovateľov od prvotného posúdenia a zmiernenia dopadov až po komunikáciu s partnermi, následné analýzy a nadväzujúce opatrenia.
- Pripravujte hodnotiace prehľady poskytovateľov a reporty SLO.
- Poskytujte technickú podporu pri eskalácii problémov s koncovými bodmi poskytovateľov.
- Vyvíjajte priebežné canary testy a hodnotenia na odhalenie inak skrytých regresií kvality.
- Automatizujte prevádzku poskytovateľov vrátane vypínania koncových bodov, zmien kapacity, ukončovania podpory a úprav limitov požiadaviek.
- Vytvárajte nástroje na záťažové testovanie koncových bodov, ktoré pomôžu posúdiť pripravenosť na spustenie a úvodnú prevádzku.
- Podliehajte manažérovi prevádzky poskytovateľov.
Požiadavky
- Aspoň štyri roky skúseností v oblasti SRE, produkčného inžinierstva alebo infraštruktúry pri podpore systémov s vysokou prevádzkou a priamym dosahom na zákazníkov.
- Dobrá znalosť pozorovateľnosti systémov vrátane metrík, trasovania, logov, SLO, rozpočtov chýb a upozornení umožňujúcich konkrétnu reakciu.
- Schopnosti softvérového inžinierstva a uprednostňovanie tvorby nástrojov pred postupovaním podľa prevádzkových príručiek.
- Skúsenosti s TypeScriptom a/alebo Pythonom.
- Znalosť režimov zlyhania distribuovaných systémov vrátane časových limitov, opakovaných pokusov, riadenia spätného tlaku a čiastočných výpadkov.
- Schopnosť pokojne viesť riešenie incidentov a jasne komunikovať s externými partnermi pod tlakom.
- Znalosť inferencie LLM alebo ochota naučiť sa o streamovaní, volaní nástrojov, ukladaní promptov do vyrovnávacej pamäte, kompromisoch medzi priepustnosťou a latenciou a rozdieloch medzi API poskytovateľov.
- Skúsenosti s poskytovateľom inferencie, vývojovým laboratóriom modelov, cloudovou službou GPU alebo spoločnosťou prevádzkujúcou API bránu či CDN sú výhodou.
- Skúsenosti s TypeScriptom, Cloudflare Workers, Postgresom, ClickHouse, GCP alebo Vercelom sú výhodou.
- Skúsenosti so smerovaním, vyvažovaním záťaže alebo systémami riadenia prevádzky sú výhodou.
- Skúsenosti s hodnoteniami alebo syntetickým monitorovaním systémov strojového učenia sú výhodou.