Baseten предоставя инфраструктура за инференция на модели за компании, които внедряват приложения за машинно обучение и изкуствен интелект. Платформата му е създадена за бързо и мащабируемо обслужване на модели, като съчетава инференция с висока пропускателна способност, бързо внедряване, автоматично мащабиране, сигурно обслужване на модели за предприятия и поддръжка на опаковането на модели с отворен код. Baseten помага на инженерните екипи и екипите по машинно обучение да управляват оперативните изисквания на инфраструктурата за модели, за да могат да се съсредоточат върху разработването на модели, специфични за съответната област. Компанията работи в областта на изкуствения интелект, SaaS и корпоративните технологии и има 11–50 служители.
Софтуерен инженер по производителност на инференцията в Baseten (хибридна работа)
Baseten търси инженер по производителност на инференцията за оптимизиране на средите за изпълнение на LLM, GPU ядрата и системите за обслужване на модели. Ролята е насочена към подобряване на скоростта на инференцията в продукция, използването на хардуера и разходната ефективност.
Описание
- Внедрявайте в продукция усъвършенствани методи за инференция, като квантизация, спекулативно декодиране, повторно използване на KV кеша, пакетно предварително попълване на части, LoRA, насочвано генериране и персонализирано планиране или маршрутизиране.
- Анализирайте целия процес на инференция, като оптимизирате режийните разходи на ядрата, разполагането в паметта, планирането на заявките, разделянето на предварителното попълване и декодирането и маршрутизирането с отчитане на кеша.
- Увеличавайте броя токени на GPU час и използването на ресурсите, като балансирате латентност, пропускателна способност и разходи.
- Внедрявайте и оптимизирайте нови архитектури на модели върху нови хардуерни платформи.
- Създавайте бенчмаркове, обхващащи типове модели, размери на пакетите, дължини на последователностите и хардуерни конфигурации.
- Допринасяйте с подобрения към open-source проекти за инференция, включително vLLM, SGLang и TensorRT-LLM.
- Работете с екипите по моделите, инфраструктурата и клиентите за постигане на измерими подобрения в производителността.
Изисквания
- Диплома за бакалавър, магистър или доктор в областта на компютърните науки, инженерството, математиката или сродна дисциплина.
- Професионален опит с поне един език за програмиране с общо предназначение, включително Python или C++.
- Практически познания по методи за оптимизация на LLM, като квантизация, спекулативно декодиране и непрекъснато пакетиране.
- Отлично познаване на библиотеки за машинно обучение, по-специално PyTorch, TensorRT или TensorRT-LLM.
- Доказан интерес към големите езикови модели и практически опит с тях.
- Задълбочено разбиране на GPU архитектурата.
Придобивки
- Конкурентен пакет за възнаграждение със значимо участие в капитала.
- За служителите в САЩ пълното медицинско, стоматологично и зрително осигуряване обхваща служителите и техните лица на издръжка.
- Гъвкав платен отпуск и общофирмена зимна почивка.
- Платен родителски отпуск.
- Подкрепа за лечение на безплодие и създаване на семейство чрез стипендия от Carrot.
- За служителите в САЩ фирмата улеснява достъпа до план 401(k).
- Възможности за работа с разнообразни стартъпи в областта на машинното обучение, с широки възможности за обучение и професионално изграждане на контакти.