OpenRouter — це платформа штучного інтелекту, яка надає розробникам і командам єдиний спосіб отримувати доступ до великих мовних моделей різних постачальників і працювати з ними. Її каталог моделей містить, зокрема, Mistral Small 3 і DeepSeek R1 Distill Qwen 32B, що дає змогу створювати застосунки, у яких важливі швидкість, точність і гнучкий вибір моделі. OpenRouter також пропонує інструменти для програмування та ігор, а потенційні сфери застосування охоплюють маркетинг, фінанси й освіту.
Інженер із надійності сайтів, операційна підтримка ШІ-провайдерів — OpenRouter (віддалено, США)
Забезпечуйте надійну роботу ШІ-провайдерів OpenRouter: відповідайте за спостережуваність, перемикання трафіку та реагування на інциденти. Автоматизуйте перевірки якості кінцевих точок, управління місткістю та підготовку до запуску.
Опис
- Розробляйте моніторинг кінцевих точок провайдерів і відстежуйте затримку, пропускну здатність, помилки, доступність і коректність відповідей.
- Визначайте цільові показники рівня обслуговування (SLO) для рівнів провайдерів і налаштовуйте дієві сповіщення.
- Поліпшуйте виявлення проблем із кінцевими точками та координуйте автоматичне перемикання трафіку з командою маршрутизації.
- Чергуйте під час інцидентів у провайдерів: від первинного аналізу й усунення наслідків до спілкування з партнерами, розбору інцидентів і подальших дій.
- Готуйте оцінки провайдерів і звіти за SLO.
- Надавайте технічну підтримку під час ескалації проблем із кінцевими точками провайдерів.
- Розробляйте безперервні канаркові перевірки й оцінювання, щоб виявляти приховані погіршення якості.
- Автоматизуйте операції з провайдерами, зокрема вимкнення кінцевих точок, зміну місткості, виведення з експлуатації та налаштування обмежень частоти запитів.
- Створюйте інструменти навантажувального тестування кінцевих точок для оцінювання готовності до запуску й початкового трафіку.
- Підпорядковуйтеся керівнику операційної підтримки провайдерів.
Вимоги
- Щонайменше чотири роки досвіду в SRE, інженерії експлуатації або інфраструктурних ролях із підтримкою високонавантажених систем для клієнтів.
- Впевнене володіння інструментами спостережуваності: метриками, трасуванням, журналами, SLO, бюджетами помилок і дієвими сповіщеннями.
- Навички розробки програмного забезпечення та бажання створювати інструменти, а не лише виконувати інструкції.
- Досвід роботи з TypeScript та/або Python.
- Знання сценаріїв відмов розподілених систем, зокрема тайм-аутів, повторних спроб, зворотного тиску й часткових збоїв.
- Здатність спокійно керувати реагуванням на інциденти та чітко спілкуватися із зовнішніми партнерами під тиском.
- Розуміння інференсу великих мовних моделей або готовність вивчити потокову передачу даних, виклик інструментів, кешування промптів, компроміси між пропускною здатністю та затримкою, а також відмінності між API провайдерів.
- Досвід роботи у провайдера інференсу, модельній лабораторії, GPU-хмарі, компанії API-шлюзів або CDN буде перевагою.
- Досвід роботи з TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP або Vercel буде перевагою.
- Досвід роботи з маршрутизацією, балансуванням навантаження або системами управління трафіком буде перевагою.
- Досвід оцінювання або синтетичного моніторингу систем машинного навчання буде перевагою.