Baseten надає інфраструктуру для інференсу моделей компаніям, які розгортають застосунки на основі машинного навчання та штучного інтелекту. Платформа створена для швидкого й масштабованого обслуговування моделей та поєднує високу пропускну здатність інференсу, швидке розгортання, автоматичне масштабування, захищене обслуговування моделей корпоративного рівня й підтримку пакування моделей із відкритим вихідним кодом. Baseten допомагає інженерним командам і фахівцям із машинного навчання керувати операційними завданнями інфраструктури моделей, щоб вони могли зосередитися на розробці моделей для конкретних предметних областей. Компанія працює у сферах штучного інтелекту, SaaS і корпоративних технологій; у її команді від 11 до 50 співробітників.
Інженер із продуктивності інференсу в Baseten (гібридний формат)
Baseten шукає інженера із продуктивності інференсу для оптимізації середовищ виконання LLM, GPU-ядер і систем обслуговування моделей. Роль зосереджена на підвищенні швидкості інференсу в продакшені, ефективності використання обладнання та економічності.
Опис
- Упроваджувати в продукцію передові методи інференсу, як-от квантування, спекулятивне декодування, повторне використання KV-кешу, поетапний prefill, LoRA, керована генерація, а також користувацьке планування чи маршрутизація.
- Аналізувати весь конвеєр інференсу, оптимізуючи накладні витрати ядер, розміщення пам’яті, планування запитів, розділення prefill і decode, а також маршрутизацію з урахуванням кешу.
- Підвищувати кількість токенів на GPU-годину та ефективність використання ресурсів, балансуючи між затримкою, пропускною здатністю і вартістю.
- Розгортати й оптимізувати нові архітектури моделей на нових апаратних платформах.
- Створювати бенчмарки для різних типів моделей, розмірів батчів, довжин послідовностей і конфігурацій обладнання.
- Вносити покращення до проєктів інференсу з відкритим вихідним кодом, зокрема vLLM, SGLang і TensorRT-LLM.
- Співпрацювати з командами моделей, інфраструктури та роботи з клієнтами, щоб забезпечувати вимірювані покращення продуктивності.
Вимоги
- Ступінь бакалавра, магістра або доктора в галузі комп’ютерних наук, інженерії, математики чи суміжної дисципліни.
- Професійний досвід роботи щонайменше з однією мовою програмування загального призначення, зокрема Python або C++.
- Практичні знання методів оптимізації LLM, як-от квантування, спекулятивне декодування та безперервна пакетна обробка.
- Впевнене володіння бібліотеками машинного навчання, особливо PyTorch, TensorRT або TensorRT-LLM.
- Підтверджений інтерес до великих мовних моделей і практичний досвід роботи з ними.
- Ґрунтовне розуміння архітектури GPU.
Переваги
- Конкурентний пакет винагороди із суттєвою участю в капіталі компанії.
- Для працівників у США повне медичне, стоматологічне страхування та страхування зору поширюються на працівників і їхніх утриманців.
- Гнучка оплачувана відпустка та загальнокорпоративні зимові канікули.
- Оплачувана відпустка у зв’язку з народженням або усиновленням дитини.
- Підтримка лікування безпліддя та створення сім’ї через стипендію Carrot.
- Для працівників у США — план 401(k), організований компанією.
- Можливість працювати з різними стартапами у сфері машинного навчання, отримуючи значні можливості для навчання та професійного нетворкінгу.