adaption разработва адаптивни системи и инструменти за изкуствен интелект, предназначени да приспособяват интелигентността към отделни потребители, езици, индустрии и специализирани специфични случаи. Работата на компанията обхваща адаптивни данни, адаптивен интелект и адаптивни интерфейси — подходи, които помагат на моделите да се адаптират непрекъснато и да осигуряват по-отзивчиво потребителско изживяване, без да разчитат толкова силно на ръчно формулиране на подкани или на един монолитен модел. Технологията на компанията е приложима за организации, които проучват практически приложения на изкуствения интелект в области като консултиране, логистика и маркетинг.
Инженер по инференция — Adaption (хибридно, районът на залива)
Оптимизирайте инфраструктурата за инференция с фокус върху пропускателната способност, разходите и латентността в Adaption, компания за адаптивни интелигентни системи. Подобрете обслужването на модели чрез GPU, инференционни енджини и продукционни натоварвания.
Описание
- Ще поемете основната отговорност за разходите и производителността на инференционния стек.
- Ще увеличавате пропускателната способност и ще намалявате разходите и опашната латентност чрез управление на KV кеша, непрекъснато пакетиране, спекулативно декодиране и квантизация.
- Ще оптимизирате натоварванията за prefill и decode при дълъг контекст спрямо реалния продукционен трафик.
- Ще настройвате маршрутизирането между вътрешната инфраструктура и външните доставчици според разходите, капацитета и производителността.
- Ще използвате енджини за обслужване, включително vLLM, SGLang и TensorRT-LLM, и при необходимост ще работите под нивото на framework-а.
- Ще разработвате системи за профилиране и измерване, които локализират използването на време, памет и изчислителни ресурси.
- Ще си партнирате тясно с инженерите, отговорни за инфраструктурата за обслужване.
Изисквания
- Имате поне пет години опит в системи за машинно обучение, инфраструктура за инференция или инженеринг на производителността, с измерими подобрения в разходите или латентността.
- Демонстрирате задълбочени познания за обслужване на модели, включително prefill и decode, пропускателна способност на паметта, пакетиране и конкурентност.
- Имате продукционен опит с енджини за обслужване като vLLM, SGLang или TensorRT-LLM.
- Използвате уверено Python и владеете C++, Rust или друг системен програмен език.
- Разбирате теми, свързани с производителността на GPU, включително CUDA, NCCL, смесена точност, разпределение на паметта, ядра или квантизация.
- Можете да работите присъствено в района на залива при хибриден режим.
Придобивки
- Ще съчетаете присъственото сътрудничество в района на залива с разпределен глобален екип и екипни срещи извън офиса.
- Ще получавате годишна туристическа надбавка Adaption Passport за посещение на държава, която не сте посещавали досега.
- Ще имате седмична надбавка за храна за вкъщи или доставка на хранителни продукти.
- Ще имате достъп до цялостно медицинско покритие и щедър платен отпуск.