Hewlett Packard Enterprise розробляє корпоративні технології для організацій, які працюють із гібридними хмарними середовищами та операціями на основі штучного інтелекту. Портфоліо компанії охоплює сервери HPE ProLiant і високопродуктивні обчислювальні системи HPE Cray, системи зберігання даних HPE Alletra, мережеві рішення HPE Aruba, платформи штучного інтелекту та готові AI-фабрики, а також рішення GreenLake за моделлю «як послуга». HPE також надає засоби безпеки, зокрема Zero Trust і SASE, а також професійні, консультаційні та технічні послуги, які допомагають великим організаціям модернізувати інфраструктуру, керувати середовищами центрів обробки даних і впроваджувати штучний інтелект у масштабах підприємства.
Провідний інженер програмного забезпечення для інференсу в HPE Hybrid
Керуйте розробленням корпоративного середовища інференсу LLM HPE AI Essentials для інфраструктури клієнтів. Підвищуйте ефективність обслуговування на GPU, розподіленого виконання та оркестрації Kubernetes.
Опис
- Відповідайте за ключові компоненти розгортання обслуговування LLM, зокрема інтеграцію рушія, безперервну пакетну обробку, керування KV-кешем і його повторне використання, а також виконання з квантуванням.
- Працюйте з командами розроблення інференсу, щоб скоротити час до першого токена й затримку між токенами, підвищити пропускну здатність GPU та зменшити затримки на рівнях P95/P99.
- Розробляйте й експлуатуйте функції розподіленого виконання, зокрема розділені prefill і decode, тензорний та конвеєрний паралелізм, а також вивантаження KV-кешу між пам’яттю GPU, пам’яттю хоста та сховищем із підключенням через RDMA.
- Оцінюйте нові середовища виконання, методи квантування, спекулятивне декодування та обслуговування моделей типу mixture-of-experts, а потім рекомендуйте технології для впровадження.
- Допомагайте створювати шар оркестрації, що охоплює допуск моделей, планування й розподіл GPU, маршрутизацію запитів з урахуванням кешу та автоматичне масштабування.
- Вирішуйте проблеми клієнтів від початку до кінця, визначайте першопричини та вдосконалюйте пов’язані системи й процеси.
- Переглядайте код і проєктні рішення, наставляйте колег і демонструйте високі інженерні стандарти.
Вимоги
- Щонайменше 8 років досвіду розроблення програмного забезпечення.
- Від одного-двох років і більше безпосереднього досвіду роботи із середовищами виконання інференсу LLM або промисловим обслуговуванням моделей.
- Освіта в галузі комп’ютерних наук або суміжній дисципліні.
- Знання рушіїв інференсу LLM, таких як vLLM, SGLang, TensorRT-LLM, TGI або NVIDIA NIM, включно з досвідом зміни внутрішньої реалізації рушія.
- Глибокі знання безперервної пакетної обробки, paged attention, повторного використання KV-кешу й кешування префіксів, поетапного prefill, квантування та спекулятивного декодування.
- Практичні знання тензорного й конвеєрного паралелізму, колективних операцій NCCL, ієрархії пам’яті GPU та поведінки з’єднань.
- Просунуте володіння архітектурою платформи Kubernetes, включно з операторами, користувацькими ресурсами, контролерами та плануванням.
- Сильні навички програмування на Go і Python.
- Уміння читати, налагоджувати та профілювати C++ і CUDA за допомогою таких інструментів, як Nsight.
- Знайомство з налагодженням і профілюванням багаторівневих робочих навантажень, включно із застосунками RAG та агентними застосунками.
- Відмінні аналітичні навички, навички налагодження та розв’язання проблем.
- Бажано: внесок у vLLM, SGLang, TensorRT-LLM, llm-d, LMCache або KServe.
- Бажано: досвід обслуговування з розділеними prefill і decode або великомасштабного вивантаження та повторного використання KV-кешу.
- Бажано: досвід роботи з RDMA, GPUDirect Storage, InfiniBand або RoCE.
- Бажано: досвід роботи з MIG, виділенням часток GPU та ізоляцією GPU для кількох орендарів.
- Бажано: досвід постачання програмного забезпечення для локальних, ізольованих від мережі або регульованих корпоративних середовищ.
Переваги
- Комплексний пакет пільг для підтримки фізичного здоров’я, фінансової безпеки та емоційного добробуту.
- Програми підтримки особистісного й професійного розвитку.
- Гнучкість щодо робочих умов і особистих потреб.
- Інклюзивна культура на робочому місці.
- Розумні умови адаптації під час подання заявки або співбесіди для кваліфікованих кандидатів з інвалідністю.