Baseten предоставляет инфраструктуру для инференса моделей компаниям, развертывающим приложения на основе машинного обучения и искусственного интеллекта. Платформа создана для быстрого и масштабируемого обслуживания моделей и объединяет высокую пропускную способность инференса, быстрое развертывание, автоматическое масштабирование, защищенное обслуживание моделей корпоративного уровня и поддержку упаковки моделей с открытым исходным кодом. Baseten помогает инженерным командам и специалистам по машинному обучению управлять операционными задачами инфраструктуры моделей, чтобы они могли сосредоточиться на разработке моделей для конкретных предметных областей. Компания работает в сферах искусственного интеллекта, SaaS и корпоративных технологий; в ее команде от 11 до 50 сотрудников.
Руководитель инженерного направления по производительности GPU-инференса в Baseten
Руководите разработкой производительности GPU-инференса в Baseten, компании, создающей инфраструктуру для ИИ. Развивайте оптимизацию рантайма, эффективность моделей и специализированную техническую команду.
Описание
- Управлять, наставлять и развивать инженеров по производительности инференса посредством регулярных встреч один на один, обратной связи, планирования карьерного развития и оценки результатов работы
- Нанимать инженеров по GPU и инференсу, формируя культуру сотрудничества в команде
- Отвечать за дорожную карту производительности рантайма и её реализацию
- Проверять технические проекты, руководить профилированием и оптимизацией, а также помогать инженерам оценивать использование времени и памяти
- Внедрять в промышленную эксплуатацию квантизацию, спекулятивное декодирование, повторное использование KV-кэша, поэтапное предварительное заполнение и пользовательское планирование
- Преобразовывать улучшения производительности в измеримые результаты по количеству токенов на GPU-час, утилизации, задержке и стоимости
- Переносить новые архитектуры моделей на современное оборудование и настраивать их производительность
- Сотрудничать с командами инфраструктуры, платформы инференса, ядер, API моделей и работы с клиентами для расстановки приоритетов, координации запусков и реализации улучшений
- Устанавливать инженерные стандарты качества, бенчмаркинга, операционной эффективности и реагирования на инциденты
- Развивать оптимизацию агентного инференса, агентные ядра, обучение моделей со спекулятивным декодированием и стек инференса Baseten
Требования
- Степень бакалавра, магистра или доктора в области компьютерных наук, инженерии, математики или смежной дисциплины
- Опыт управления, включающий найм инженеров, наставничество, предоставление обратной связи и проведение оценки результатов работы
- Опыт руководства командами по оптимизации GPU или тесного взаимодействия с ними в задачах обучения, инференса или рекомендательных систем
- Глубокие технические знания GPU-нагрузок, архитектуры и компромиссов производительности
- Знакомство с библиотеками машинного обучения, включая PyTorch, TensorRT или TensorRT-LLM
- Подтверждённая способность формировать дорожные карты и реализовывать сложные технические проекты вместе с командой
- Отличные навыки письменной и устной коммуникации для согласования работы заинтересованных сторон между командами
- Знакомство с движками инференса, такими как vLLM, SGLang или TensorRT-LLM
- Опыт применения методов оптимизации LLM, таких как квантизация, спекулятивное декодирование и непрерывное пакетирование
- Опыт разработки или работы с GPU-ядрами на CUDA, Triton или CUTLASS
- Опыт масштабирования инженерной команды в период быстрого роста стартапа
- Практический опыт работы инженером по производительности или системным инженером до перехода в управление
Преимущества
- Конкурентный компенсационный пакет с существенной долей в капитале компании
- Для сотрудников в США — полное медицинское, стоматологическое страхование и страхование зрения для сотрудников и иждивенцев
- Гибкий оплачиваемый отпуск, включая общекорпоративный зимний перерыв
- Оплачиваемый отпуск по уходу за ребёнком
- Поддержка вопросов фертильности и создания семьи через Carrot
- Для сотрудников в США — пенсионный план 401(k), организованный компанией
- Возможности работать с различными стартапами в сфере машинного обучения и развивать профессиональные связи в отрасли