Baseten предоставя инфраструктура за инференция на модели за компании, които внедряват приложения за машинно обучение и изкуствен интелект. Платформата му е създадена за бързо и мащабируемо обслужване на модели, като съчетава инференция с висока пропускателна способност, бързо внедряване, автоматично мащабиране, сигурно обслужване на модели за предприятия и поддръжка на опаковането на модели с отворен код. Baseten помага на инженерните екипи и екипите по машинно обучение да управляват оперативните изисквания на инфраструктурата за модели, за да могат да се съсредоточат върху разработването на модели, специфични за съответната област. Компанията работи в областта на изкуствения интелект, SaaS и корпоративните технологии и има 11–50 служители.
Мениджър инженеринг на производителността на GPU инференцията в Baseten
Ръководете инженерингa на производителността на GPU инференцията в Baseten, компания за инфраструктура за изкуствен интелект. Насочвайте оптимизацията на средата за изпълнение, ефективността на моделите и развитието на специализиран технически екип.
Съединени щати
Калифорния
Ню Йорк240 000 $ – 270 000 $ / година
ХибридноПълен работен денСредно нивоСтаршиЗадължителен Език: английскиМениджър инженерингОписание
- Управлявайте, наставлявайте и развивайте инженерите по производителност на инференцията чрез редовни индивидуални срещи, обратна връзка, планиране на кариерата и оценки на представянето
- Наемайте GPU и инженери по инференция, като същевременно изграждате култура на сътрудничество в екипа
- Носете отговорност за пътната карта и изпълнението на производителността на средата за изпълнение
- Преглеждайте технически проекти, ръководете профилирането и оптимизацията и помагайте на инженерите да оценяват времето и използването на паметта
- Въвеждайте в продукция квантизация, спекулативно декодиране, повторно използване на KV кеша, разделено предварително запълване и персонализирано планиране
- Превръщайте подобренията в производителността в измерими подобрения на броя токени на GPU-час, използваемостта, латентността и разходите
- Внедрявайте нови архитектури на модели върху нововъзникващ хардуер и настройвайте производителността им
- Сътрудничете с екипите Infrastructure, Inference Platform, Kernels, Model APIs и екипите, работещи с клиенти, за приоритизиране на работата, координиране на стартиранията и предоставяне на подобрения
- Установявайте инженерни стандарти за качество, бенчмаркинг, оперативно съвършенство и реакция при инциденти
- Развивайте оптимизацията на агентния инференс, агентните ядра, обучението на модели със спекулативно декодиране и Baseten Inference Stack
Изисквания
- Бакалавърска, магистърска или докторска степен по компютърни науки, инженерство, математика или сходна дисциплина
- Опит в управлението, включващ наемане на инженери, наставничество, обратна връзка и оценки на представянето
- Опит в ръководенето или тясната подкрепа на екипи за GPU оптимизация при обучение, инференция или системи за препоръки
- Задълбочени технически познания за GPU натоварвания, архитектура и компромиси в производителността
- Познаване на библиотеки за машинно обучение, включително PyTorch, TensorRT или TensorRT-LLM
- Доказана способност за създаване на пътни карти и изпълнение на сложни технически проекти с екип
- Отлични писмени и устни комуникационни умения за съгласуване на заинтересованите страни между екипите
- Познаване на инференс енджини като vLLM, SGLang или TensorRT-LLM
- Опит с прилагането на методи за оптимизация на LLM, като квантизация, спекулативно декодиране и непрекъснато пакетиране
- Опит в разработването или използването на GPU ядра с CUDA, Triton или CUTLASS
- Опит в разрастването на инженерeн екип по време на бърз растеж на стартъп
- Предишен практически опит като инженер по производителност или системен инженер преди преминаване към управление
Придобивки
- Конкурентен пакет от възнаграждения със значим дялов компонент
- За служителите в САЩ пълно медицинско, стоматологично и офталмологично покритие за служителите и техните зависими лица
- Гъвкаво платено свободно време, включително общофирмена зимна почивка
- Платен родителски отпуск
- Подкрепа за фертилитет и създаване на семейство чрез Carrot
- За служителите в САЩ план 401(k), улеснен от компанията
- Възможности за работа с различни стартъпи в областта на машинното обучение и изграждане на контакти в индустрията