Hewlett Packard Enterprise vyvíjí podnikové technologie pro organizace, které provozují hybridní cloudová prostředí a operace založené na umělé inteligenci. Portfolio společnosti zahrnuje servery HPE ProLiant a vysoce výkonné výpočetní systémy HPE Cray, úložiště HPE Alletra, síťová řešení HPE Aruba, platformy umělé inteligence a hotové AI továrny i řešení GreenLake poskytovaná jako služba. HPE nabízí také bezpečnostní funkce, jako jsou Zero Trust a SASE, spolu s profesionálními, poradenskými a podpůrnými službami, které velkým organizacím pomáhají modernizovat infrastrukturu, spravovat prostředí datových center a zavádět umělou inteligenci ve velkém měřítku.
Seniorní softwarový inženýr pro inferenci v HPE Hybrid
Povedete vývoj podnikového runtime pro inferenci LLM HPE AI Essentials určeného pro infrastrukturu zákazníků. Zlepšíte efektivní obsluhu na GPU, distribuované provádění a orchestraci Kubernetes.
Popis
- Budete zodpovídat za klíčové součásti nasazení obsluhy LLM, včetně integrace enginu, průběžného dávkování, správy a opakovaného využití KV cache a kvantizovaného provádění.
- Budete spolupracovat s týmy pro inferenci na zkrácení času do prvního tokenu a mezitokenové latence, zvýšení propustnosti GPU a snížení latence na úrovních P95/P99.
- Budete vyvíjet a provozovat funkce distribuovaného provádění, jako jsou oddělené prefill a decode, tenzorový a pipeline paralelismus a přesun KV cache mezi pamětí GPU, pamětí hostitele a úložištěm připojeným přes RDMA.
- Budete posuzovat nové runtime systémy, metody kvantizace, spekulativní dekódování a obsluhu mixture-of-experts modelů a následně doporučovat technologie k přijetí.
- Pomůžete vytvářet orchestration vrstvu zahrnující přijímání modelů, plánování a dělení GPU, směrování požadavků s ohledem na cache a automatické škálování.
- Budete řešit problémy zákazníků od začátku do konce, určovat jejich kořenové příčiny a posilovat související systémy a procesy.
- Budete kontrolovat kód a návrhy, mentorovat kolegy a prosazovat kvalitní inženýrské postupy.
Požadavky
- Nejméně 8 let zkušeností v softwarovém inženýrství.
- Jeden až dva roky nebo více přímých zkušeností s runtime systémy pro inferenci LLM nebo s produkční obsluhou modelů.
- Vysokoškolské vzdělání v oboru informatiky nebo příbuzném oboru.
- Znalost inferenčních enginů LLM, jako jsou vLLM, SGLang, TensorRT-LLM, TGI nebo NVIDIA NIM, včetně zkušeností s úpravami interních částí enginu.
- Pokročilá znalost průběžného dávkování, paged attention, opakovaného využití KV cache a prefix caching, chunked prefill, kvantizace a spekulativního dekódování.
- Praktická znalost tenzorového a pipeline paralelismu, kolektivních operací NCCL, hierarchie paměti GPU a chování propojovacích technologií.
- Pokročilá znalost architektury platformy Kubernetes včetně operátorů, vlastních zdrojů, řadičů a plánování.
- Silné programátorské dovednosti v Go a Pythonu.
- Schopnost číst, ladit a profilovat C++ a CUDA pomocí nástrojů, jako je Nsight.
- Znalost ladění a profilování víceúrovňových úloh včetně aplikací RAG a agentních aplikací.
- Vynikající analytické schopnosti a dovednosti v oblasti ladění a řešení problémů.
- Výhodou: Příspěvky do projektů vLLM, SGLang, TensorRT-LLM, llm-d, LMCache nebo KServe.
- Výhodou: Zkušenost s obsluhou oddělených fází prefill a decode nebo s rozsáhlým přesunem a opakovaným využitím KV cache.
- Výhodou: Zkušenost s RDMA, GPUDirect Storage, InfiniBand nebo RoCE.
- Výhodou: Zkušenost s MIG, přidělováním dílčích kapacit GPU a izolací GPU pro více tenantů.
- Výhodou: Zkušenost s dodáváním softwaru pro on-premises, vzduchotěsná nebo regulovaná podniková prostředí.
Benefity
- Komplexní benefity podporující fyzické zdraví, finanční jistotu a emoční pohodu.
- Programy podporující osobní a profesní růst.
- Flexibilita pracovních podmínek a osobních potřeb.
- Inkluzivní pracovní kultura.
- Přiměřená opatření během procesu podání žádosti nebo pohovoru pro kvalifikované uchazeče se zdravotním postižením.