A Hewlett Packard Enterprise vállalati technológiákat fejleszt a hibrid felhőt és mesterséges intelligenciára épülő műveleteket működtető szervezetek számára. Portfóliójába tartoznak a HPE ProLiant szerverek és a HPE Cray nagy teljesítményű számítástechnikai megoldásai, a HPE Alletra adattárolás, a HPE Aruba hálózatkezelés, a mesterségesintelligencia-platformok és a kulcsrakész AI-gyárak, valamint a szolgáltatásként elérhető GreenLake megoldások. A HPE emellett olyan biztonsági képességeket is kínál, mint a Zero Trust és a SASE, továbbá professzionális, tanácsadói és támogatási szolgáltatásokat nyújt, amelyek segítik a nagy szervezeteket infrastruktúrájuk korszerűsítésében, adatközponti környezeteik kezelésében és az AI nagy léptékű bevezetésében.
Senior következtetési szoftvermérnök a HPE Hybridnél
Vezesse a HPE AI Essentials ügyfelek saját infrastruktúráján futó vállalati LLM-következtetési futtatókörnyezetének fejlesztését. Javítsa a GPU-hatékony kiszolgálást, a megosztott végrehajtást és a Kubernetes-orkesztrációt.
Leírás
- Vállaljon felelősséget az LLM-kiszolgálási telepítés alapvető komponenseiért, beleértve a motorintegrációt, a folyamatos kötegelt feldolgozást, a KV-gyorsítótár kezelését és újrafelhasználását, valamint a kvantált végrehajtást.
- Dolgozzon együtt a következtetési mérnöki csapatokkal az első tokenig eltelt idő, a tokenek közötti késleltetés, a GPU-átviteli teljesítmény, valamint a P95/P99 farokkésleltetés csökkentésén.
- Fejlesszen és üzemeltessen megosztott végrehajtási funkciókat, például szétválasztott előfeldolgozást és dekódolást, tenzor- és pipeline-párhuzamosságot, valamint a KV-gyorsítótár GPU-memória, gazdamemória és RDMA-csatolt tárhely közötti kihelyezését.
- Értékelje az új futtatókörnyezeteket, kvantálási módszereket, spekulatív dekódolást és mixture-of-experts kiszolgálást, majd tegyen javaslatot az alkalmazandó technológiákra.
- Vegyen részt a modellbefogadást, a GPU-ütemezést és -particionálást, a gyorsítótár-tudatos kérésirányítást, valamint az automatikus skálázást lefedő orkesztrációs réteg kialakításában.
- Oldja meg a vevői problémákat a teljes folyamatban, határozza meg a kiváltó okokat, és erősítse meg a kapcsolódó rendszereket és folyamatokat.
- Tekintse át a kódot és a terveket, mentorálja kollégáit, és mutasson példát erős mérnöki gyakorlatokra.
Követelmények
- Legalább 8 év szoftvermérnöki tapasztalat.
- Legalább egy-két év közvetlen tapasztalat LLM-következtetési futtatókörnyezetekkel vagy éles környezetben történő modellkiszolgálással.
- Számítástechnikai vagy kapcsolódó területen szerzett diploma.
- Jártasság olyan LLM-következtetési motorokban, mint a vLLM, az SGLang, a TensorRT-LLM, a TGI vagy az NVIDIA NIM, beleértve a motor belső működésének módosításában szerzett tapasztalatot.
- A folyamatos kötegelt feldolgozás, a lapozott figyelem, a KV-gyorsítótár újrafelhasználása és az előtag-gyorsítótárazás, a darabolt előfeldolgozás, a kvantálás és a spekulatív dekódolás alapos ismerete.
- A tenzor- és pipeline-párhuzamosság, az NCCL kollektív műveletei, a GPU-memóriahierarchia és az összeköttetések működésének gyakorlati ismerete.
- A Kubernetes platformarchitektúra magas szintű ismerete, beleértve az operátorokat, az egyéni erőforrásokat, a vezérlőket és az ütemezést.
- Erős programozási készségek Go és Python nyelven.
- C++ és CUDA kód olvasásának, hibakeresésének és profilozásának képessége olyan eszközökkel, mint az Nsight.
- Többszintű munkaterhelések, köztük RAG- és ügynökalkalmazások hibakeresésében és profilozásában szerzett jártasság.
- Kiváló elemző-, hibakeresési és problémamegoldó készségek.
- Előny: Hozzájárulások a vLLM, az SGLang, a TensorRT-LLM, az llm-d, az LMCache vagy a KServe projektjeihez.
- Előny: Tapasztalat szétválasztott előfeldolgozási és dekódolási kiszolgálással, illetve nagyméretű KV-gyorsítótár kihelyezésével és újrafelhasználásával.
- Előny: RDMA-, GPUDirect Storage-, InfiniBand- vagy RoCE-tapasztalat.
- Előny: Tapasztalat MIG-gel, részleges GPU-kiosztással és több bérlős GPU-izolációval.
- Előny: Helyszíni, hálózattól leválasztott vagy szabályozott vállalati környezetekhez készülő szoftverek szállításában szerzett tapasztalat.
Juttatások
- Átfogó juttatások, amelyek támogatják a fizikai egészséget, a pénzügyi biztonságot és az érzelmi jóllétet.
- A személyes és szakmai fejlődést támogató programok.
- Rugalmasság a munkavégzési formák és a személyes igények terén.
- Befogadó munkahelyi kultúra.
- Ésszerű alkalmazkodási lehetőségek a fogyatékossággal élő, megfelelő képesítéssel rendelkező jelentkezők számára a jelentkezési vagy interjúfolyamat során.