adaption розробляє адаптивні системи штучного інтелекту та інструменти, призначені для адаптації інтелектуальних можливостей до окремих користувачів, мов, галузей і спеціалізованих нестандартних сценаріїв. Компанія працює в напрямах Adaptive Data, Adaptive Intelligence та Adaptive Interfaces — це підходи, які допомагають моделям безперервно адаптуватися й забезпечувати більш чутливу взаємодію з користувачами без такої значної залежності від ручного формулювання запитів або єдиної монолітної моделі. Технології компанії можуть бути актуальними для організацій, які досліджують практичне застосування ШІ в таких сферах, як консалтинг, логістика та маркетинг.
Інженер з інференсу — Adaption (гібридний формат, район затоки Сан-Франциско)
Оптимізуйте інфраструктуру інференсу в Adaption — компанії у сфері ШІ, що розробляє системи адаптивного інтелекту, — підвищуючи пропускну здатність і зменшуючи витрати та затримки. Покращуйте обслуговування моделей на GPU, інференс-рушіях і у виробничих робочих навантаженнях.
Опис
- Відповідайте за вартість і продуктивність стека інференсу.
- Підвищуйте пропускну здатність і зменшуйте витрати та затримки в хвості розподілу за допомогою керування KV-кешем, безперервного пакетування, спекулятивного декодування та квантування.
- Оптимізуйте завдання попереднього заповнення й декодування для довгих контекстів з урахуванням реального виробничого трафіку.
- Налаштовуйте маршрутизацію між внутрішньою інфраструктурою та зовнішніми провайдерами з урахуванням вартості, доступної потужності й продуктивності.
- Використовуйте рушії обслуговування моделей, зокрема vLLM, SGLang і TensorRT-LLM, за потреби працюючи на рівні нижче фреймворку.
- Розробляйте системи профілювання та вимірювання для виявлення витрат часу, пам’яті й обчислювальних ресурсів.
- Тісно співпрацюйте з інженерами, відповідальними за парк серверів обслуговування моделей.
Вимоги
- Мати щонайменше п’ять років досвіду роботи з ML-системами, інфраструктурою інференсу або інженерією продуктивності, підтвердженого вимірюваним зниженням витрат чи затримок.
- Мати глибокі знання про обслуговування моделей, зокрема попереднє заповнення й декодування, пропускну здатність пам’яті, пакетування та паралелізм.
- Мати практичний досвід роботи у production із рушіями обслуговування моделей, такими як vLLM, SGLang або TensorRT-LLM.
- Впевнено використовувати Python і володіти C++, Rust або іншою мовою системного програмування.
- Розуміти питання продуктивності GPU, зокрема CUDA, NCCL, змішану точність, організацію пам’яті, ядра або квантування.
- Мати можливість працювати очно в районі затоки Сан-Франциско в гібридному форматі.
Переваги
- Поєднувати очну співпрацю в районі затоки Сан-Франциско з розподіленою командою, орієнтованою на глобальну роботу, і виїзними заходами команди.
- Отримувати щорічну туристичну виплату Adaption Passport для поїздки до країни, яку ви раніше не відвідували.
- Отримувати щотижневу виплату на готову їжу або доставку продуктів.
- Користуватися комплексним медичним страхуванням і тривалою оплачуваною відпусткою.