STN Incorporated
STN Incorporated
STN Incorporated предоставляет управляемые ИТ-услуги и облачную инфраструктуру для предприятий и команд, разрабатывающих критически важное для бизнеса программное обеспечение, системы искусственного интеллекта и робототехнику. В число услуг входят частные облака на базе центральных процессоров, инфраструктура GPU One для ИИ, защищённые сети и хранилища, а также постоянное управление облачными системами с круглосуточной поддержкой специалистов и соглашениями об уровне обслуживания с высокой доступностью. Компания также занимается кибербезопасностью и реагированием на инциденты, управлением соответствием требованиям и рисками, резервным копированием и восстановлением, а также закупкой технологий и управлением их жизненным циклом. STN обслуживает SaaS-компании, разработчиков ИИ и моделей, робототехнические фирмы и регулируемые организации, включая медицинские учреждения; её инфраструктура рассчитана на готовность к аудиту и поддержку таких стандартов и нормативных требований, как SOC 2 Type II и HIPAA.

Руководитель оптимизации инференс-нагрузок

Руководите настройкой производительности GPU для клиентских ИИ-нагрузок на автономной платформе центров обработки данных STN. Превращайте экспертные знания в оптимизации в исправления, которые могут применять агенты, и отвечайте за внутренний сервисинг моделей.

Описание

  • Анализируйте клиентские задачи обучения и инференса, выявляя узкие места в загрузке данных, коллективных коммуникациях, пропускной способности памяти, ядрах, пакетной обработке и параллелизме.
  • Устанавливайте базовые показатели производительности для каждого поколения оборудования, начиная с актуальных систем NVIDIA.
  • Преобразуйте экспертные знания в оптимизации в исправления, которые агенты смогут применять в кластерах клиентов.
  • Настраивайте нагрузки для клиентов с зарезервированными мощностями напрямую или совместно с их командами эксплуатации.
  • В качестве дополнительной обязанности управляйте внутренним сервисингом моделей, включая маршрутизацию с учетом затрат и задержки, а также миграции между версиями моделей.
  • Консультируйте по распределению GPU между внутренним инференсом и клиентскими нагрузками.

Требования

  • Обладайте глубокими знаниями в области оптимизации производительности GPU, включая профилирование, поведение памяти и пропускной способности, а также работу на уровне ядер.
  • Имейте практический опыт работы со стеками обслуживания моделей, такими как vLLM, SGLang или TensorRT-LLM, включая пакетную обработку, управление KV-кэшем и компромиссы при квантовании.
  • Иметь опыт распределенного обучения и инференса в большом масштабе, включая тензорный, конвейерный и дата-параллелизм.
  • Иметь опыт настройки коллективных коммуникаций, например NCCL.
  • Свободно владеть инструментами профилирования, такими как Nsight, DCGM и профилировщики уровня фреймворков.
  • Уметь объяснять клиентам результаты анализа производительности и кодировать решения для агента.
  • Будет преимуществом: разработка ядер CUDA, развертывание крупных моделей с открытыми весами, проектирование бенчмарков и предыдущий опыт технической работы с клиентами.

Похожие вакансии

SHI International Corp.

Старший менеджер по маркетингу решений в области ИИ

SHI International Corp.

Формируйте позиционирование, сообщения и запуски корпоративных ИИ-решений SHI. Разрабатывайте материалы для продаж, контент мероприятий и истории клиентов для поддержки роста.

Открыть
Gramian Consulting

Специалист по исследованию и оценке диалогов с ИИ

Gramian Consulting

Gramian Consulting ищет специалиста для оценки диалогов с ИИ и повышения качества рекомендаций. В работе используются структурированный качественный анализ межличностных ситуаций и выявление недостающего контекста.

Открыть
Gartner

Старший директор по управлению данными для развития ИИ

Gartner

В Gartner вы будете готовить исследования и давать руководителям рекомендации по платформам управления данными и развитию ИИ. Консультируйте руководителей компаний, предоставляя аналитические материалы, выступая с презентациями и участвуя во встречах с клиентами.

Открыть
CDW

Старший инженер-консультант по разработке ИИ-систем

CDW

Руководите клиентскими проектами CDW в области ИИ и MLOps — от архитектуры решений до их внедрения. Наставляйте инженеров и создавайте безопасные, масштабируемые производственные системы.

Открыть
CDW

Инженер-консультант по инфраструктуре ИИ: вычисления и хранение данных

CDW

Проектируйте и проверяйте решения для вычислений на GPU и высокопроизводительных систем хранения данных для корпоративных задач ИИ и машинного обучения. Помогайте клиентам CDW внедрять инфраструктуру для обучения, дообучения и инференса моделей ИИ.

Открыть
Salesforce

Руководитель инноваций в сфере ИИ, науки о жизни

Salesforce

Руководите стратегией внедрения ИИ Salesforce в сфере наук о жизни, создавая повторно используемые возможности и продвигая трансформацию клиентов. Возглавляйте международную команду специалистов по продуктам, инженерии и профессиональным услугам.

Открыть