Hewlett Packard Enterprise разработва корпоративни технологии за организации, които използват хибриден облак и операции, управлявани от изкуствен интелект. Портфолиото му включва сървъри HPE ProLiant и високопроизводителни изчислителни системи HPE Cray, решения за съхранение HPE Alletra, мрежови решения HPE Aruba, платформи за изкуствен интелект и готови AI фабрики, както и решенията GreenLake като услуга. HPE предлага и функции за сигурност, като Zero Trust и SASE, наред с професионални, консултантски и услуги за поддръжка, които помагат на големите организации да модернизират инфраструктурата си, да управляват средите на центровете за данни и да внедряват изкуствен интелект в голям мащаб.
Старши софтуерен инженер по инференция в HPE Hybrid
Ще ръководите разработването на корпоративната среда за инференция на LLM в HPE AI Essentials за инфраструктура, собственост на клиента. Ще подобрявате обслужването с ефективно използване на GPU, разпределеното изпълнение и оркестрацията в Kubernetes.
Описание
- Ще отговаряте за основни компоненти на внедряването за обслужване на LLM, включително интеграция на енджини, непрекъснато пакетиране, управление и повторно използване на KV кеша и квантизирано изпълнение.
- Ще работите с екипи по инженеринг на инференцията за намаляване на времето до първия токен, латентността между токените, оползотворяването на GPU и опашната латентност P95/P99.
- Ще разработвате и управлявате функции за разпределено изпълнение, като разделени prefill и decode, тензорен и pipeline паралелизъм и прехвърляне на KV кеша между GPU памет, хост памет и хранилище, свързано чрез RDMA.
- Ще оценявате нови среди за изпълнение, методи за квантизация, спекулативно декодиране и обслужване на mixture-of-experts модели, след което ще препоръчвате технологии за внедряване.
- Ще помагате за изграждането на оркестрационния слой, обхващащ приемането на модели, планирането и разделянето на GPU ресурси, маршрутизирането на заявки с отчитане на кеша и автоматичното мащабиране.
- Ще решавате клиентски проблеми от край до край, ще определяте първопричините и ще укрепвате свързаните системи и процеси.
- Ще преглеждате код и проекти, ще наставлявате колеги и ще давате пример за добри инженерни практики.
Изисквания
- Най-малко 8 години опит в софтуерното инженерство.
- Една до две или повече години пряк опит със среди за инференция на LLM или с обслужване на модели в продукция.
- Висше образование по компютърни науки или сродна дисциплина.
- Познаване на енджини за инференция на LLM, като vLLM, SGLang, TensorRT-LLM, TGI или NVIDIA NIM, включително опит с промяна на вътрешните компоненти на енджините.
- Задълбочени познания за непрекъснато пакетиране, paged attention, повторно използване на KV кеша и prefix caching, chunked prefill, квантизация и спекулативно декодиране.
- Работни познания за тензорен и pipeline паралелизъм, колективни операции на NCCL, йерархията на GPU паметта и поведението на междусистемните връзки.
- Напреднали умения в архитектурата на платформата Kubernetes, включително оператори, потребителски ресурси, контролери и планиране.
- Силни умения по програмиране на Go и Python.
- Способност за четене, отстраняване на грешки и профилиране на C++ и CUDA с инструменти като Nsight.
- Познаване на отстраняването на грешки и профилирането на многостепенни работни натоварвания, включително RAG и агентски приложения.
- Отлични аналитични умения, умения за отстраняване на грешки и решаване на проблеми.
- Предимство са приноси към vLLM, SGLang, TensorRT-LLM, llm-d, LMCache или KServe.
- Предимство е опитът с обслужване с разделени prefill и decode или с широкомащабно прехвърляне и повторно използване на KV кеша.
- Предимство е опитът с RDMA, GPUDirect Storage, InfiniBand или RoCE.
- Предимство е опитът с MIG, разпределяне на частични GPU ресурси и изолиране на GPU в многопотребителски среди.
- Предимство е опитът с доставяне на софтуер за локални, изолирани от мрежи или регулирани корпоративни среди.
Придобивки
- Цялостен пакет от придобивки в подкрепа на физическото здраве, финансовата сигурност и емоционалното благополучие.
- Програми в подкрепа на личностното и професионалното развитие.
- Гъвкавост по отношение на работните условия и личните нужди.
- Приобщаваща култура на работното място.
- Разумни улеснения по време на кандидатстването или интервюто за квалифицирани кандидати с увреждания.