OpenRouter е платформа за изкуствен интелект, която предоставя на разработчици и екипи единен начин за достъп и работа с големи езикови модели от различни доставчици. Каталогът ѝ от модели включва опции като Mistral Small 3 и DeepSeek R1 Distill Qwen 32B, които поддържат приложения, ориентирани към бързина, точност и гъвкав избор на модел. OpenRouter предлага и инструменти за програмиране и създаване на игри, с потенциални приложения в области като маркетинг, финанси и образование.
Инженер по надеждността на системи, операции с AI доставчици — OpenRouter (дистанционна работа, САЩ)
Поддържайте надеждността на системите за AI доставчици на OpenRouter, включително наблюдение, превключване при отказ и реакция при инциденти. Автоматизирайте проверките на качеството на крайните точки, управлението на капацитета и готовността за пускане.
Описание
- Разработвайте наблюдение на крайните точки на доставчиците и следете латентността, пропускателната способност, грешките, наличността и коректността на резултатите.
- Определяйте цели за нивото на услугата (SLO) за категориите доставчици и настройвайте сигнали, по които може да се предприемат действия.
- Подобрете откриването на влошено състояние на крайните точки и координирайте автоматичното пренасочване на трафика с екипа по маршрутизация.
- Управлявайте дежурните инциденти при доставчиците от първоначалната оценка и ограничаването на въздействието до комуникацията с партньори, анализите след инцидента и последващите действия.
- Изготвяйте оценъчни карти на доставчиците и отчети за SLO.
- Осигурявайте техническа поддръжка при ескалирани проблеми с крайните точки на доставчиците.
- Разработвайте непрекъснати canary тестове и оценки за откриване на иначе скрити регресии в качеството.
- Автоматизирайте операциите с доставчиците, включително деактивиране на крайни точки, промени в капацитета, извеждане от употреба и корекции на ограниченията за заявки.
- Създавайте инструменти за тестове с натоварване на крайните точки, за да оценявате готовността за пускане и първоначалния трафик.
- Отчитайте се пред мениджъра на операциите с доставчиците.
Изисквания
- Най-малко четири години опит в SRE, инженеринг на продукционни системи или инфраструктурни роли в поддръжка на системи с голям трафик и пряко обслужване на клиенти.
- Отлични умения за наблюдаемост, включително метрики, трасировки, логове, SLO, бюджети за грешки и сигнали, по които може да се предприемат действия.
- Умения в софтуерното инженерство и предпочитание към създаването на инструменти пред следването на оперативни ръководства.
- Опит с TypeScript и/или Python.
- Познаване на режимите на отказ при разпределени системи, включително изтичане на времеви лимити, повторни опити, обратен натиск и частични прекъсвания.
- Умение за спокойно ръководене на реакцията при инциденти и ясна комуникация с външни партньори под напрежение.
- Разбиране на концепциите за LLM инференция или готовност за изучаване на поточно предаване, извикване на инструменти, кеширане на промптове, компромиси между пропускателна способност и латентност и разлики между API на доставчиците.
- Опит при доставчик на инференция, лаборатория за модели, GPU облачна услуга или компания за API шлюз или CDN е предимство.
- Опит с TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP или Vercel е предимство.
- Опит с маршрутизация, балансиране на натоварването или системи за управление на трафика е предимство.
- Опит с оценки или синтетично наблюдение на системи за машинно обучение е предимство.