Hewlett Packard Enterprise vyvíja podnikové technológie pre organizácie, ktoré prevádzkujú hybridný cloud a operácie založené na umelej inteligencii. Jeho portfólio zahŕňa servery HPE ProLiant a vysokovýkonné počítačové systémy HPE Cray, úložiská HPE Alletra, sieťové riešenia HPE Aruba, platformy umelej inteligencie a komplexné AI továrne, ako aj riešenia GreenLake poskytované ako služba. HPE poskytuje aj bezpečnostné funkcie, ako sú Zero Trust a SASE, spolu s profesionálnymi, poradenskými a podpornými službami, ktoré veľkým organizáciám pomáhajú modernizovať infraštruktúru, spravovať prostredia dátových centier a nasadzovať umelú inteligenciu vo veľkom meradle.
Senior softvérový inžinier pre inferenciu v HPE Hybrid
Budete viesť vývoj podnikového inferenčného runtime pre LLM v riešení HPE AI Essentials určenom pre infraštruktúru vlastnenú zákazníkom. Zlepšíte obsluhu s efektívnym využitím GPU, distribuované vykonávanie a orchestráciu v Kubernetes.
Popis
- Budete zodpovedať za kľúčové komponenty nasadenia obsluhy LLM vrátane integrácie enginu, kontinuálneho dávkovania, správy a opätovného využitia KV cache a kvantizovaného vykonávania.
- Budete spolupracovať s tímami pre inferenčné inžinierstvo na skrátení času do prvého tokenu, latencie medzi tokenmi, zvýšení priepustnosti GPU a znížení chvostovej latencie P95/P99.
- Budete vyvíjať a prevádzkovať funkcie distribuovaného vykonávania, ako sú oddelené fázy prefill a decode, tenzorový a pipeline paralelizmus a presun KV cache medzi pamäťou GPU, hostiteľskou pamäťou a úložiskom pripojeným cez RDMA.
- Budete posudzovať nové runtime prostredia, metódy kvantizácie, špekulatívne dekódovanie a obsluhu modelov typu mixture-of-experts a následne odporúčať technológie na prijatie.
- Budete pomáhať budovať orchestračnú vrstvu zahŕňajúcu prijímanie modelov, plánovanie a rozdeľovanie GPU, smerovanie požiadaviek s ohľadom na cache a automatické škálovanie.
- Budete riešiť problémy zákazníkov od začiatku do konca, určovať ich koreňové príčiny a posilňovať súvisiace systémy a procesy.
- Budete kontrolovať kód a návrhy, mentorovať kolegov a ísť príkladom v uplatňovaní kvalitných inžinierskych postupov.
Požiadavky
- Minimálne 8 rokov skúseností v softvérovom inžinierstve.
- Jeden až dva alebo viac rokov priamej praxe s inferenčnými runtime prostrediami pre LLM alebo produkčnou obsluhou modelov.
- Vysokoškolské vzdelanie v odbore informatika alebo príbuznom odbore.
- Znalosť inferenčných enginov pre LLM, ako sú vLLM, SGLang, TensorRT-LLM, TGI alebo NVIDIA NIM, vrátane skúseností s úpravami interných častí enginu.
- Pokročilá znalosť kontinuálneho dávkovania, paged attention, opätovného využitia KV cache a prefix caching, chunked prefill, kvantizácie a špekulatívneho dekódovania.
- Praktická znalosť tenzorového a pipeline paralelizmu, kolektívnych operácií NCCL, hierarchie pamäte GPU a správania prepojovacích technológií.
- Pokročilá znalosť architektúry platformy Kubernetes vrátane operátorov, vlastných zdrojov, kontrolérov a plánovania.
- Silné programátorské zručnosti v jazykoch Go a Python.
- Schopnosť čítať, ladiť a profilovať C++ a CUDA pomocou nástrojov, ako je Nsight.
- Znalosť ladenia a profilovania viacvrstvových pracovných záťaží vrátane aplikácií RAG a agentov.
- Vynikajúce analytické, ladiace a riešiteľské schopnosti.
- Výhodou sú príspevky do projektov vLLM, SGLang, TensorRT-LLM, llm-d, LMCache alebo KServe.
- Výhodou sú skúsenosti s obsluhou s oddelenými fázami prefill a decode alebo s rozsiahlym presunom a opätovným využitím KV cache.
- Výhodou sú skúsenosti s RDMA, GPUDirect Storage, InfiniBand alebo RoCE.
- Výhodou sú skúsenosti s MIG, prideľovaním zlomkov GPU a izoláciou GPU vo viacnájomných prostrediach.
- Výhodou sú skúsenosti s dodávaním softvéru pre lokálne, od internetu odpojené alebo regulované podnikové prostredia.
Benefity
- Komplexný balík výhod podporujúci fyzické zdravie, finančnú istotu a emocionálnu pohodu.
- Programy podporujúce osobný a profesionálny rast.
- Flexibilita pracovných podmienok a prispôsobenie osobným potrebám.
- Kultúra inkluzívneho pracoviska.
- Primerané úpravy počas prihlasovacieho procesu alebo pohovoru pre kvalifikovaných uchádzačov so zdravotným postihnutím.