STN Incorporated
STN Incorporated
STN Incorporated надає керовані ІТ-послуги та хмарну інфраструктуру для підприємств і команд, які створюють критично важливе для бізнесу програмне забезпечення, системи штучного інтелекту та робототехніку. До послуг належать приватні хмари на базі центральних процесорів, інфраструктура GPU One для ШІ, захищені мережі й сховища, а також постійне керування хмарними системами з цілодобовою підтримкою фахівців і угодами про рівень обслуговування з високою доступністю. Компанія також займається кібербезпекою та реагуванням на інциденти, управлінням відповідністю вимогам і ризиками, резервним копіюванням і відновленням, а також закупівлею технологій і керуванням їхнім життєвим циклом. STN обслуговує SaaS-компанії, розробників ШІ та моделей, робототехнічні фірми й регульовані організації, зокрема медичні заклади; її інфраструктура розрахована на готовність до аудиту та підтримку таких стандартів і нормативних вимог, як SOC 2 Type II і HIPAA.

Керівник оптимізації інференс-навантажень

Керуйте налаштуванням продуктивності GPU для клієнтських ШІ-навантажень на автономній платформі центрів обробки даних STN. Перетворюйте експертні знання з оптимізації на виправлення, які можуть застосовувати агенти, та відповідайте за внутрішній сервісинг моделей.

Опис

  • Аналізуйте клієнтські задачі навчання та інференсу, щоб виявляти вузькі місця в завантаженні даних, колективних комунікаціях, пропускній здатності пам’яті, ядрах, пакетній обробці та паралелізмі.
  • Визначайте базові показники продуктивності для кожного покоління обладнання, починаючи з актуальних систем NVIDIA.
  • Перетворюйте експертні знання з оптимізації на виправлення, які агенти зможуть застосовувати в кластерах клієнтів.
  • Налаштовуйте навантаження для клієнтів із зарезервованими потужностями безпосередньо або разом із їхніми операційними командами.
  • Як додатковий обов’язок керуйте внутрішнім сервісингом моделей, зокрема маршрутизацією з урахуванням витрат і затримки, а також міграціями між версіями моделей.
  • Консультуйте щодо розподілу GPU між внутрішнім інференсом і клієнтськими навантаженнями.

Вимоги

  • Майте глибокі знання з інженерії продуктивності GPU, зокрема профілювання, поведінки пам’яті та пропускної здатності, а також розуміння роботи на рівні ядер.
  • Майте практичний досвід роботи зі стеками обслуговування моделей, як-от vLLM, SGLang або TensorRT-LLM, зокрема пакетною обробкою, керуванням KV-кешем і компромісами квантування.
  • Майте досвід розподіленого навчання та інференсу у великому масштабі, зокрема тензорного, конвеєрного та дата-паралелізму.
  • Майте досвід налаштування колективних комунікацій, наприклад NCCL.
  • Впевнено користуйтеся інструментами профілювання, як-от Nsight, DCGM і профілювальниками рівня фреймворків.
  • Умійте пояснювати клієнтам результати аналізу продуктивності та кодувати рішення для агента.
  • Буде перевагою: розробка ядер CUDA, розгортання великих моделей із відкритими вагами, проєктування бенчмарків і попередній досвід технічної роботи з клієнтами.

Схожі вакансії

SHI International Corp.

Старший менеджер із маркетингу рішень у сфері ШІ

SHI International Corp.

Формуйте позиціювання, повідомлення та запуски корпоративних рішень SHI у сфері ШІ. Розробляйте матеріали для продажів, контент заходів та історії клієнтів для підтримки зростання.

Відкрити
Gramian Consulting

Фахівець із дослідження та оцінювання діалогів зі ШІ

Gramian Consulting

Gramian Consulting шукає фахівця для оцінювання діалогів зі ШІ та підвищення якості рекомендацій. Робота передбачає структурований якісний аналіз міжособистісних ситуацій і виявлення браку контексту.

Відкрити
Gartner

Старший директор із керування даними для розвитку ШІ

Gartner

У Gartner ви проводитимете дослідження та надаватимете керівникам рекомендації щодо платформ керування даними й розвитку ШІ. Консультуйте керівників компаній, ділячись аналітикою, проводячи презентації та зустрічі з клієнтами.

Відкрити
CDW

Старший інженер-консультант із розробки ШІ-систем

CDW

Керуйте клієнтськими проєктами CDW у сфері ШІ та MLOps — від архітектури рішень до впровадження. Наставляйте інженерів і створюйте безпечні, масштабовані виробничі системи.

Відкрити
CDW

Інженер-консультант з інфраструктури ШІ: обчислення та зберігання даних

CDW

Проєктуйте й перевіряйте рішення для обчислень на GPU та високопродуктивних систем зберігання даних для корпоративних завдань ШІ й машинного навчання. Допомагайте клієнтам CDW упроваджувати інфраструктуру для навчання, донавчання та інференсу моделей ШІ.

Відкрити
Salesforce

Керівник інновацій у сфері ШІ, наук про життя

Salesforce

Керуйте стратегією впровадження ШІ Salesforce у сфері наук про життя, розробляйте багаторазові можливості та сприяйте трансформації клієнтів. Очолюйте глобальну команду фахівців із продуктів, інженерії та професійних послуг.

Відкрити