Baseten предоставляет инфраструктуру для инференса моделей компаниям, развертывающим приложения на основе машинного обучения и искусственного интеллекта. Платформа создана для быстрого и масштабируемого обслуживания моделей и объединяет высокую пропускную способность инференса, быстрое развертывание, автоматическое масштабирование, защищенное обслуживание моделей корпоративного уровня и поддержку упаковки моделей с открытым исходным кодом. Baseten помогает инженерным командам и специалистам по машинному обучению управлять операционными задачами инфраструктуры моделей, чтобы они могли сосредоточиться на разработке моделей для конкретных предметных областей. Компания работает в сферах искусственного интеллекта, SaaS и корпоративных технологий; в ее команде от 11 до 50 сотрудников.
Инженер по производительности инференса в Baseten (гибридный формат)
Baseten ищет инженера по производительности инференса для оптимизации сред выполнения LLM, GPU-ядер и систем обслуживания моделей. Роль сосредоточена на повышении скорости инференса в продакшене, эффективности использования оборудования и экономичности.
Описание
- Внедрять в продукцию передовые методы инференса, такие как квантование, спекулятивное декодирование, повторное использование KV-кэша, поэтапный prefill, LoRA, управляемая генерация, а также пользовательское планирование или маршрутизация.
- Анализировать весь конвейер инференса, оптимизируя накладные расходы ядер, размещение памяти, планирование запросов, разделение prefill и decode, а также маршрутизацию с учетом кэша.
- Повышать количество токенов на GPU-час и эффективность использования ресурсов, находя баланс между задержкой, пропускной способностью и стоимостью.
- Развертывать и оптимизировать новые архитектуры моделей на новых аппаратных платформах.
- Создавать бенчмарки для разных типов моделей, размеров батчей, длин последовательностей и конфигураций оборудования.
- Вносить улучшения в проекты инференса с открытым исходным кодом, включая vLLM, SGLang и TensorRT-LLM.
- Взаимодействовать с командами моделей, инфраструктуры и работы с клиентами для достижения измеримых улучшений производительности.
Требования
- Диплом бакалавра, магистра или доктора в области компьютерных наук, инженерии, математики или смежной дисциплины.
- Профессиональный опыт работы как минимум с одним языком программирования общего назначения, включая Python или C++.
- Практические знания методов оптимизации LLM, таких как квантование, спекулятивное декодирование и непрерывная пакетная обработка.
- Уверенное владение библиотеками машинного обучения, особенно PyTorch, TensorRT или TensorRT-LLM.
- Подтвержденный интерес к большим языковым моделям и практический опыт работы с ними.
- Глубокое понимание архитектуры GPU.
Преимущества
- Конкурентоспособный пакет вознаграждения с существенным участием в капитале компании.
- Для сотрудников в США полное медицинское, стоматологическое страхование и страхование зрения распространяются на сотрудников и их иждивенцев.
- Гибкий оплачиваемый отпуск и общекорпоративные зимние каникулы.
- Оплачиваемый отпуск по уходу за ребенком.
- Поддержка лечения бесплодия и создания семьи через стипендию Carrot.
- Для сотрудников в США план 401(k), организованный компанией.
- Возможность работать с различными стартапами в сфере машинного обучения, получая существенные возможности для обучения и профессионального нетворкинга.