
MWDN е компания за IT услуги и разработка на софтуер, която помага на бизнеса да създава и разширява дигитални продукти за уеб, мобилни и настолни платформи. Вътрешният ѝ инженерен екип подпомага изпълнението на клиентски проекти чрез разширяване на екипи, специализирани екипи за разработка и глобален подбор на IT специалисти. С развойни центрове в Централна и Източна Европа MWDN свързва организации от САЩ, Европа и Израел със софтуерни специалисти за технологични проекти, съобразени с конкретните нужди и разходи.
CUDA инженер за инференция на LLM (дистанционно, Узбекистан)
Оптимизирайте инференцията на LLM върху съвременни GPU, като работите с CUDA ядра и рамки за обслужване на модели. Присъединете се към MWDN по проекти за AI системи и високопроизводителни изчисления.
Описание
- Подобряване на производителността на инференцията на LLM върху съвременни GPU.
- Използване на рамки за инференция и обслужване на модели като vLLM, SGLang и TensorRT-LLM.
- Изследване на изпълнението върху GPU, достъпа до паметта, производителността на ядрата и тесните места при инференцията.
- Създаване, настройване, отстраняване на грешки или обратно инженерство на CUDA ядра и нисконивоови GPU операции.
- Проучване на методи за оптимизация на матричното умножение, механизма attention и слоевете на невронните мрежи.
- Тестване на системи и намиране на начини за подобряване на латентността, пропускателната способност и използването на GPU.
- Решаване на сложни проблеми в областта на AI системите и високопроизводителните изчисления.
- Провеждане на практически експерименти и изследване на поведението на системата на ниско ниво.
Изисквания
- Да има значителен практически опит с CUDA и програмиране за GPU.
- Да познава задълбочено архитектурата на GPU, йерархиите на паметта, паралелното изпълнение и настройването на производителността.
- Да има опит с инференция на LLM, AI системи, GPU ядра или високопроизводителни изчисления.
- Да познава поне един от инструментите vLLM, SGLang, TensorRT-LLM, Triton или FlashAttention.
- Да може да диагностицира сложни проблеми с производителността и да изследва поведението на системата на ниско ниво.
- Да прилага силни умения за решаване на проблеми.
- Да комуникира ефективно сложни технически идеи на английски език.
- Докторска степен или изследователски опит в областта на информатиката, машинното обучение, компютърната архитектура или сродна дисциплина са предимство.
- Научни публикации, работа по проекти или значителен принос към проекти с отворен код за GPU или инфраструктура за LLM са предимство.
- Опит с вътрешното устройство на PyTorch, разпределена инференция, квантизация, настройване на KV кеш или персонализирани GPU ядра е предимство.
- Принос към хранилищата на vLLM, SGLang, Triton, FlashAttention или сродни проекти е предимство.
Придобивки
- Проверка на клиентите с цел намаляване на риска и осигуряване на надеждни и навременни плащания.
- Кариерни насоки и помощ при откриване на бъдещи възможности.
- Правни консултации за независима договорна работа или еднолична дейност, данъци и свързани въпроси.
- Уроци по английски език и възможности за професионално развитие.
- Тиймбилдинг дейности.
- Гъвкаво работно време.
- 29 дни платен отпуск: 18 работни дни годишно плюс националните празници.
- 10 платени дни за възстановяване.
- Финансова и правна помощ за независими изпълнители.
- Безплатни уроци по английски с носители на езика или украински преподаватели.
- Специализирана HR подкрепа.
- Управление с грижа за хората и ограничена бюрокрация.
- Приветлива фирмена култура.
Свързани работни места
Няма намерени обяви за работа
Опитайте да промените или изчистите филтрите, за да намерите повече възможности.