adaption разрабатывает адаптивные системы искусственного интеллекта и инструменты, предназначенные для адаптации интеллектуальных возможностей к отдельным пользователям, языкам, отраслям и специализированным нестандартным сценариям. Компания работает в направлениях Adaptive Data, Adaptive Intelligence и Adaptive Interfaces — это подходы, которые помогают моделям непрерывно адаптироваться и обеспечивать более отзывчивое взаимодействие с пользователями без столь сильной зависимости от ручного составления запросов или одной монолитной модели. Технологии компании могут быть актуальны для организаций, изучающих практическое применение ИИ в таких областях, как консалтинг, логистика и маркетинг.
Инженер по инференсу — Adaption (гибридный формат, район залива Сан-Франциско)
Оптимизируйте инфраструктуру инференса в Adaption — компании в сфере ИИ, разрабатывающей системы адаптивного интеллекта, — повышая пропускную способность и снижая затраты и задержки. Улучшайте обслуживание моделей на GPU, инференс-движках и в производственных рабочих нагрузках.
Описание
- Отвечайте за стоимость и производительность стека инференса.
- Повышайте пропускную способность и снижайте затраты и задержки в хвосте распределения с помощью управления KV-кэшем, непрерывного пакетирования, спекулятивного декодирования и квантования.
- Оптимизируйте задачи предварительного заполнения и декодирования для длинных контекстов с учетом реального производственного трафика.
- Настраивайте маршрутизацию между внутренней инфраструктурой и внешними провайдерами с учетом стоимости, доступной мощности и производительности.
- Используйте движки обслуживания моделей, включая vLLM, SGLang и TensorRT-LLM, при необходимости работая на уровне ниже фреймворка.
- Разрабатывайте системы профилирования и измерений для выявления затрат времени, памяти и вычислительных ресурсов.
- Тесно сотрудничайте с инженерами, отвечающими за парк серверов обслуживания моделей.
Требования
- Иметь не менее пяти лет опыта работы с ML-системами, инфраструктурой инференса или инженерией производительности, подтвержденного измеримым снижением затрат или задержек.
- Обладать глубокими знаниями об обслуживании моделей, включая предварительное заполнение и декодирование, пропускную способность памяти, пакетирование и параллелизм.
- Иметь практический опыт работы в production с движками обслуживания моделей, такими как vLLM, SGLang или TensorRT-LLM.
- Уверенно использовать Python и владеть C++, Rust или другим языком системного программирования.
- Понимать вопросы производительности GPU, включая CUDA, NCCL, смешанную точность, организацию памяти, ядра или квантование.
- Иметь возможность работать очно в районе залива Сан-Франциско в гибридном формате.
Преимущества
- Сочетать очное сотрудничество в районе залива Сан-Франциско с распределенной командой, ориентированной на глобальную работу, и выездными мероприятиями команды.
- Получать ежегодную туристическую выплату Adaption Passport для поездки в страну, которую вы ранее не посещали.
- Получать еженедельную выплату на готовую еду или доставку продуктов.
- Пользоваться комплексным медицинским страхованием и продолжительным оплачиваемым отпуском.