Hewlett Packard Enterprise razvija poslovne tehnologije za organizacije koje koriste hibridni oblak i operacije vođene umjetnom inteligencijom. Njegov portfelj obuhvaća poslužitelje HPE ProLiant i visokoučinkovito računalstvo HPE Cray, pohranu HPE Alletra, mrežna rješenja HPE Aruba, platforme umjetne inteligencije i sveobuhvatne AI tvornice te rješenja GreenLake kao uslugu. HPE pruža i sigurnosne mogućnosti poput Zero Trusta i SASE-a, uz profesionalne, savjetodavne i usluge podrške koje velikim organizacijama pomažu modernizirati infrastrukturu, upravljati okruženjima podatkovnih centara i uvoditi umjetnu inteligenciju u velikom opsegu.
Viši softverski inženjer za inferenciju u HPE Hybridu
Vodit ćete razvoj poslovnog runtimea za inferenciju LLM-ova u rješenju HPE AI Essentials za infrastrukturu u vlasništvu korisnika. Unaprijedit ćete posluživanje uz učinkovito korištenje GPU-a, distribuirano izvršavanje i orkestraciju u Kubernetesu.
Opis
- Bit ćete odgovorni za ključne komponente implementacije posluživanja LLM-ova, uključujući integraciju enginea, kontinuirano grupiranje, upravljanje KV predmemorijom i njezinu ponovnu upotrebu te kvantizirano izvršavanje.
- Surađivat ćete s timovima za inferencijsko inženjerstvo na smanjenju vremena do prvog tokena, latencije između tokena, povećanju propusnosti GPU-a i smanjenju repne latencije P95/P99.
- Razvijat ćete i upravljati značajkama distribuiranog izvršavanja kao što su razdvojeni prefill i decode, tenzorski i cjevovodni paralelizam te prebacivanje KV predmemorije između GPU memorije, memorije glavnog računala i pohrane povezane putem RDMA-e.
- Procjenjivat ćete nove runtimee, metode kvantizacije, spekulativno dekodiranje i posluživanje modela mixture-of-experts te preporučivati tehnologije za uvođenje.
- Pomoći ćete izgraditi orkestracijski sloj koji obuhvaća prihvat modela, raspoređivanje i particioniranje GPU-a, usmjeravanje zahtjeva svjesno predmemorije i automatsko skaliranje.
- Rješavat ćete korisničke probleme od početka do kraja, utvrđivati njihove temeljne uzroke i jačati povezane sustave i procese.
- Pregledavat ćete kôd i dizajne, mentorirati kolege i biti primjer kvalitetnih inženjerskih praksi.
Zahtjevi
- Najmanje 8 godina iskustva u softverskom inženjerstvu.
- Jedna do dvije ili više godina izravnog iskustva s runtimeima za inferenciju LLM-ova ili produkcijskim posluživanjem modela.
- Diploma iz računalnih znanosti ili srodnog područja.
- Poznavanje enginea za inferenciju LLM-ova kao što su vLLM, SGLang, TensorRT-LLM, TGI ili NVIDIA NIM, uključujući iskustvo s izmjenama internih dijelova enginea.
- Napredno poznavanje kontinuiranog grupiranja, paged attentiona, ponovne upotrebe KV predmemorije i prefix cachinga, chunked prefilla, kvantizacije i spekulativnog dekodiranja.
- Radno znanje tenzorskog i cjevovodnog paralelizma, kolektivnih operacija NCCL-a, hijerarhije GPU memorije i ponašanja međusobnih veza.
- Napredno poznavanje arhitekture platforme Kubernetes, uključujući operatore, prilagođene resurse, kontrolere i raspoređivanje.
- Napredno programiranje u jezicima Go i Python.
- Sposobnost čitanja, otklanjanja pogrešaka i profiliranja C++-a i CUDA-e pomoću alata kao što je Nsight.
- Poznavanje otklanjanja pogrešaka i profiliranja višeslojnih radnih opterećenja, uključujući RAG i agentske aplikacije.
- Izvrsne analitičke vještine, vještine otklanjanja pogrešaka i rješavanja problema.
- Poželjni su doprinosi projektima vLLM, SGLang, TensorRT-LLM, llm-d, LMCache ili KServe.
- Poželjno je iskustvo s posluživanjем razdvojenog prefilla i decodea ili s velikim opsegom prebacivanja i ponovne upotrebe KV predmemorije.
- Poželjno je iskustvo s RDMA-om, GPUDirect Storageom, InfiniBandom ili RoCE-om.
- Poželjno je iskustvo s MIG-om, dodjelom djelomičnih GPU resursa i izolacijom GPU-a u okruženjima s više korisnika.
- Poželjno je iskustvo u isporuci softvera za lokalna, zračno izolirana ili regulirana poslovna okruženja.
Pogodnosti
- Sveobuhvatan paket pogodnosti koji podupire fizičko zdravlje, financijsku sigurnost i emocionalnu dobrobit.
- Programi koji podupiru osobni i profesionalni razvoj.
- Fleksibilnost u organizaciji rada i prilagodba osobnim potrebama.
- Kultura uključivog radnog mjesta.
- Razumne prilagodbe tijekom prijave ili razgovora za kvalificirane kandidate s invaliditetom.