Hewlett Packard Enterprise разрабатывает корпоративные технологии для организаций, работающих с гибридными облаками и операциями на основе искусственного интеллекта. Портфель компании включает серверы HPE ProLiant и высокопроизводительные вычислительные системы HPE Cray, системы хранения данных HPE Alletra, сетевые решения HPE Aruba, платформы искусственного интеллекта и готовые AI-фабрики, а также решения GreenLake по модели «как услуга». HPE также предлагает средства обеспечения безопасности, включая Zero Trust и SASE, а также профессиональные, консультационные и технические услуги, которые помогают крупным организациям модернизировать инфраструктуру, управлять средами центров обработки данных и внедрять искусственный интеллект в масштабах предприятия.
Ведущий инженер по программному обеспечению инференса в HPE Hybrid
Руководите разработкой корпоративной среды инференса LLM HPE AI Essentials для инфраструктуры заказчиков. Повышайте эффективность обслуживания на GPU, распределённого выполнения и оркестрации Kubernetes.
Описание
- Отвечайте за ключевые компоненты развертывания обслуживания LLM, включая интеграцию движка, непрерывную пакетную обработку, управление KV-кэшем и его повторное использование, а также выполнение с квантованием.
- Работайте с командами разработки инференса над сокращением времени до выдачи первого токена, задержки между токенами, повышением пропускной способности GPU и снижением задержек на уровнях P95/P99.
- Разрабатывайте и эксплуатируйте функции распределённого выполнения, включая раздельные prefill и decode, тензорный и конвейерный параллелизм, а также выгрузку KV-кэша между памятью GPU, оперативной памятью хоста и хранилищем с подключением по RDMA.
- Оценивайте новые среды выполнения, методы квантования, спекулятивное декодирование и обслуживание моделей типа mixture-of-experts, а затем рекомендуйте технологии для внедрения.
- Помогайте создавать слой оркестрации, охватывающий допуск моделей, планирование и разделение GPU, маршрутизацию запросов с учётом кэша и автоматическое масштабирование.
- Решайте проблемы заказчиков от начала до конца, определяйте первопричины и совершенствуйте связанные системы и процессы.
- Проверяйте код и проектные решения, наставляйте коллег и демонстрируйте высокие инженерные стандарты.
Требования
- Не менее 8 лет опыта в разработке программного обеспечения.
- От одного-двух лет и более непосредственного опыта работы со средами выполнения инференса LLM или промышленным обслуживанием моделей.
- Образование в области компьютерных наук или смежной дисциплине.
- Знание движков инференса LLM, таких как vLLM, SGLang, TensorRT-LLM, TGI или NVIDIA NIM, включая опыт изменения внутренней реализации движка.
- Глубокое знание непрерывной пакетной обработки, paged attention, повторного использования KV-кэша и кэширования префиксов, поэтапного prefill, квантования и спекулятивного декодирования.
- Практические знания тензорного и конвейерного параллелизма, коллективных операций NCCL, иерархии памяти GPU и поведения межсоединений.
- Продвинутое владение архитектурой платформы Kubernetes, включая операторы, пользовательские ресурсы, контроллеры и планирование.
- Уверенные навыки программирования на Go и Python.
- Умение читать, отлаживать и профилировать код на C++ и CUDA с помощью таких инструментов, как Nsight.
- Знакомство с отладкой и профилированием многоуровневых рабочих нагрузок, включая приложения RAG и агентные приложения.
- Отличные аналитические навыки, навыки отладки и решения проблем.
- Желательно: вклад в vLLM, SGLang, TensorRT-LLM, llm-d, LMCache или KServe.
- Желательно: опыт обслуживания с раздельными prefill и decode либо выгрузки и повторного использования KV-кэша в крупных масштабах.
- Желательно: опыт работы с RDMA, GPUDirect Storage, InfiniBand или RoCE.
- Желательно: опыт работы с MIG, выделением долей GPU и изоляцией GPU для нескольких арендаторов.
- Желательно: опыт создания программного обеспечения для локальных, изолированных от сети или регулируемых корпоративных сред.
Преимущества
- Расширенный пакет льгот для поддержки физического здоровья, финансовой защищённости и эмоционального благополучия.
- Программы поддержки личностного и профессионального роста.
- Гибкие условия работы с учётом рабочих и личных потребностей.
- Инклюзивная корпоративная культура.
- Разумные условия адаптации на этапах подачи заявки и собеседования для квалифицированных кандидатов с инвалидностью.