STN Incorporated
STN Incorporated
STN Incorporated предоставя управлявани ИТ услуги и облачна инфраструктура за предприятия и екипи, които разработват критичен за бизнеса софтуер, системи с изкуствен интелект и роботика. Услугите включват частни CPU облаци, инфраструктура GPU One AI, защитени мрежи и съхранение на данни, както и непрекъсната експлоатация на облачни услуги с човешка поддръжка денонощно и споразумения за високо ниво на достъпност. Компанията се занимава и с операции по киберсигурност и реакция при инциденти, управление на съответствието и риска, архивиране и възстановяване, както и с доставка на технологии и управление на жизнения им цикъл. STN обслужва SaaS компании, разработчици на решения с изкуствен интелект и модели, роботизирани фирми и регулирани организации, включително доставчици на здравни услуги. Инфраструктурата е проектирана да подпомага готовността за одит и съответствието с рамки като SOC 2 Type II и HIPAA.

Ръководител оптимизация на инференс натоварвания

Ръководете настройването на GPU производителността за AI натоварвания на клиенти в автономната платформа на центровете за данни на STN. Превръщайте експертния опит в оптимизация в корекции, изпълними от агенти, и ръководете вътрешното обслужване на модели.

Описание

  • Анализирайте натоварванията на клиентите за обучение и инференс, за да откривате тесни места в производителността при зареждане на данни, колективна комуникация, пропускателна способност на паметта, ядра, пакетиране и паралелизъм.
  • Определяйте базови показатели за производителността за всяко поколение хардуер, като започнете с текущото поколение системи NVIDIA.
  • Превръщайте експертния опит в оптимизация в корекции, които агентите могат да прилагат в клъстерите на клиентите.
  • Настройвайте натоварванията заедно с клиенти с резервиран капацитет, пряко или чрез техните оперативни екипи.
  • Като второстепенна отговорност управлявайте вътрешното обслужване на модели, включително маршрутизиране с оглед на разходите и латентността и миграции между версии на модели.
  • Консултирайте разпределението на GPU между вътрешния инференс и натоварванията на клиентите.

Изисквания

  • Притежавайте задълбочени експертни познания в инженерството на GPU производителността, включително профилиране, характеристики на паметта и пропускателната способност и разбиране на ниво ядра.
  • Имайте практически познания за стекове за обслужване на модели като vLLM, SGLang или TensorRT-LLM, включително пакетиране, управление на KV кеша и компромиси при квантизацията.
  • Имайте опит с разпределено обучение и инференс в голям мащаб, включително тензорен, конвейерен и паралелизъм на данните.
  • Имайте опит в настройването на колективна комуникация, например NCCL.
  • Работете уверено с инструменти за профилиране като Nsight, DCGM и профайлъри на ниво framework.
  • Умейте да обяснявате на клиентите изводите за производителността и да кодирате решения за агент.
  • Предимство са: разработване на CUDA ядра, внедряване на големи модели с отворени тегла, проектиране на бенчмаркове и предишен технически опит в пряка работа с клиенти.

Свързани работни места

SHI International Corp.

Старши мениджър маркетинг на AI решения

SHI International Corp.

Определяйте позиционирането, посланията и пускането на пазара на корпоративните AI решения на SHI. Разработвайте материали за продажби, съдържание за събития и клиентски истории в подкрепа на растежа.

Отвори
Gramian Consulting

Специалист по изследване и оценяване на разговори с ИИ

Gramian Consulting

Gramian Consulting търси оценител на разговори с ИИ, който да допринася за подобряването на качеството на препоръките на изкуствения интелект. Работата включва структуриран качествен анализ на междуличностни ситуации и откриване на липсващ контекст.

Отвори
Gartner

Старши директор по управление на данни и внедряване на ИИ

Gartner

В Gartner ще създавате проучвания и ще давате експертни насоки за платформи за управление на данни и внедряване на ИИ. Ще консултирате ръководители на предприятия чрез анализи, презентации и срещи с клиенти.

Отвори
CDW

Старши инженер-консултант по софтуер за изкуствен интелект

CDW

Ръководи клиентски проекти в CDW в областта на AI и MLOps от архитектурата на решението до внедряването. Наставлява инженери и изгражда сигурни производствени системи, които могат да се мащабират.

Отвори
CDW

Консултантски инженер по AI инфраструктура, изчислителни ресурси и съхранение

CDW

Проектирайте и валидирайте решения с GPU изчислителни ресурси и високопроизводително съхранение за корпоративни AI натоварвания и машинно обучение. Помагайте на клиентите на CDW да внедряват инфраструктура за обучение, фина настройка и инференция на AI модели.

Отвори
Salesforce

Старши ръководител на иновациите с изкуствен интелект в областта на биологичните науки

Salesforce

Ръководи стратегията на Salesforce за внедряване на изкуствен интелект в областта на биологичните науки, разработва възможности за многократна употреба и подпомага трансформацията на клиентите. Управлява глобален екип в направленията продукт, инженеринг и професионални услуги.

Отвори