MWDN
MWDN
MWDN е компания за IT услуги и разработка на софтуер, която помага на бизнеса да създава и разширява дигитални продукти за уеб, мобилни и настолни платформи. Вътрешният ѝ инженерен екип подпомага изпълнението на клиентски проекти чрез разширяване на екипи, специализирани екипи за разработка и глобален подбор на IT специалисти. С развойни центрове в Централна и Източна Европа MWDN свързва организации от САЩ, Европа и Израел със софтуерни специалисти за технологични проекти, съобразени с конкретните нужди и разходи.

CUDA инженер за инференция на LLM (дистанционно, Узбекистан)

Оптимизирайте инференцията на LLM върху съвременни GPU, като работите с CUDA ядра и рамки за обслужване на модели. Присъединете се към MWDN по проекти за AI системи и високопроизводителни изчисления.

Описание

  • Подобряване на производителността на инференцията на LLM върху съвременни GPU.
  • Използване на рамки за инференция и обслужване на модели като vLLM, SGLang и TensorRT-LLM.
  • Изследване на изпълнението върху GPU, достъпа до паметта, производителността на ядрата и тесните места при инференцията.
  • Създаване, настройване, отстраняване на грешки или обратно инженерство на CUDA ядра и нисконивоови GPU операции.
  • Проучване на методи за оптимизация на матричното умножение, механизма attention и слоевете на невронните мрежи.
  • Тестване на системи и намиране на начини за подобряване на латентността, пропускателната способност и използването на GPU.
  • Решаване на сложни проблеми в областта на AI системите и високопроизводителните изчисления.
  • Провеждане на практически експерименти и изследване на поведението на системата на ниско ниво.

Изисквания

  • Да има значителен практически опит с CUDA и програмиране за GPU.
  • Да познава задълбочено архитектурата на GPU, йерархиите на паметта, паралелното изпълнение и настройването на производителността.
  • Да има опит с инференция на LLM, AI системи, GPU ядра или високопроизводителни изчисления.
  • Да познава поне един от инструментите vLLM, SGLang, TensorRT-LLM, Triton или FlashAttention.
  • Да може да диагностицира сложни проблеми с производителността и да изследва поведението на системата на ниско ниво.
  • Да прилага силни умения за решаване на проблеми.
  • Да комуникира ефективно сложни технически идеи на английски език.
  • Докторска степен или изследователски опит в областта на информатиката, машинното обучение, компютърната архитектура или сродна дисциплина са предимство.
  • Научни публикации, работа по проекти или значителен принос към проекти с отворен код за GPU или инфраструктура за LLM са предимство.
  • Опит с вътрешното устройство на PyTorch, разпределена инференция, квантизация, настройване на KV кеш или персонализирани GPU ядра е предимство.
  • Принос към хранилищата на vLLM, SGLang, Triton, FlashAttention или сродни проекти е предимство.

Придобивки

  • Проверка на клиентите с цел намаляване на риска и осигуряване на надеждни и навременни плащания.
  • Кариерни насоки и помощ при откриване на бъдещи възможности.
  • Правни консултации за независима договорна работа или еднолична дейност, данъци и свързани въпроси.
  • Уроци по английски език и възможности за професионално развитие.
  • Тиймбилдинг дейности.
  • Гъвкаво работно време.
  • 29 дни платен отпуск: 18 работни дни годишно плюс националните празници.
  • 10 платени дни за възстановяване.
  • Финансова и правна помощ за независими изпълнители.
  • Безплатни уроци по английски с носители на езика или украински преподаватели.
  • Специализирана HR подкрепа.
  • Управление с грижа за хората и ограничена бюрокрация.
  • Приветлива фирмена култура.

Свързани работни места

Няма намерени обяви за работа

Опитайте да промените или изчистите филтрите, за да намерите повече възможности.