OpenRouter — это платформа искусственного интеллекта, которая предоставляет разработчикам и командам единый способ доступа к большим языковым моделям разных поставщиков и работы с ними. В её каталоге представлены такие варианты, как Mistral Small 3 и DeepSeek R1 Distill Qwen 32B, для приложений, где важны скорость, точность и гибкий выбор модели. OpenRouter также предлагает инструменты для разработки и игр, а потенциальные области применения включают маркетинг, финансы и образование.
Инженер по надежности сайтов, эксплуатация ИИ-провайдеров — OpenRouter (удаленно, США)
Обеспечивайте надежную работу ИИ-провайдеров OpenRouter: отвечайте за наблюдаемость, переключение трафика и реагирование на инциденты. Автоматизируйте проверку качества конечных точек, управление емкостью и подготовку к запуску.
Описание
- Разрабатывайте мониторинг конечных точек провайдеров и отслеживайте задержку, пропускную способность, ошибки, доступность и корректность ответов.
- Определяйте целевые показатели уровня обслуживания (SLO) для категорий провайдеров и настраивайте полезные оповещения.
- Улучшайте обнаружение сбоев конечных точек и координируйте автоматическое переключение трафика с командой маршрутизации.
- Дежурьте при инцидентах у провайдеров: от первичной оценки и устранения последствий до общения с партнерами, разбора инцидентов и выполнения последующих задач.
- Готовьте сводные оценки провайдеров и отчеты по SLO.
- Оказывайте техническую поддержку при эскалации проблем с конечными точками провайдеров.
- Разрабатывайте непрерывные канареечные проверки и оценки качества, чтобы выявлять скрытые регрессии.
- Автоматизируйте операции с провайдерами, включая отключение конечных точек, изменение емкости, вывод из эксплуатации и настройку ограничений частоты запросов.
- Создавайте инструменты нагрузочного тестирования конечных точек для оценки готовности к запуску и приема начального трафика.
- Подчиняйтесь руководителю операционной деятельности провайдеров.
Требования
- Не менее четырех лет работы в SRE, производственной инженерии или инфраструктурных ролях с поддержкой высоконагруженных систем, доступных клиентам.
- Уверенное владение инструментами наблюдаемости: метриками, трассировками, логами, SLO, бюджетами ошибок и полезными оповещениями.
- Навыки разработки ПО и стремление создавать инструменты вместо того, чтобы просто следовать инструкциям.
- Опыт работы с TypeScript и/или Python.
- Знание сценариев отказа распределенных систем, включая тайм-ауты, повторные попытки, обратное давление и частичные сбои.
- Умение спокойно руководить устранением инцидентов и ясно общаться с внешними партнерами в стрессовых ситуациях.
- Понимание принципов инференса больших языковых моделей или готовность изучить потоковую передачу данных, вызов инструментов, кэширование промптов, компромиссы между пропускной способностью и задержкой, а также различия между API провайдеров.
- Будет преимуществом опыт работы у провайдера инференса, в модельной лаборатории, GPU-облаке, компании API-шлюзов или CDN.
- Будет преимуществом опыт работы с TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP или Vercel.
- Будет преимуществом опыт работы с маршрутизацией, балансировкой нагрузки или системами управления трафиком.
- Будет преимуществом опыт проведения оценок или синтетического мониторинга систем машинного обучения.