Hewlett Packard Enterprise ontwikkelt technologie voor organisaties die hybride cloudomgevingen en AI-gestuurde bedrijfsactiviteiten uitvoeren. Het portfolio omvat HPE ProLiant-servers en HPE Cray-supercomputers, HPE Alletra-opslag, HPE Aruba-netwerken, AI-platforms en kant-en-klare AI-fabrieken, evenals GreenLake-oplossingen als dienst. HPE biedt daarnaast beveiligingsmogelijkheden zoals Zero Trust en SASE, naast professionele, adviserende en ondersteunende diensten die grote organisaties helpen hun infrastructuur te moderniseren, datacenteromgevingen te beheren en AI op grote schaal in te zetten.
Senior Software Engineer Inference bij HPE Hybrid
Leid de ontwikkeling van de enterprise-LLM-inferentieruntime van HPE AI Essentials voor infrastructuur die eigendom is van de klant. Verbeter GPU-efficiënte serving, gedistribueerde uitvoering en Kubernetes-orkestratie.
Beschrijving
- Neem verantwoordelijkheid voor kerncomponenten van de LLM-servingimplementatie, waaronder engine-integratie, continuous batching, beheer en hergebruik van de KV-cache en gequantiseerde uitvoering.
- Werk samen met inference-engineeringteams om de tijd tot het eerste token, de intertokenlatentie, de GPU-doorvoer en de P95/P99-tail latency te verlagen.
- Ontwikkel en beheer functies voor gedistribueerde uitvoering, zoals disaggregated prefill en decode, tensor- en pipelineparallelisme en het offloaden van de KV-cache over GPU-geheugen, hostgeheugen en RDMA-gekoppelde opslag.
- Beoordeel nieuwe runtimes, quantisatiemethoden, speculative decoding en serving voor mixture-of-experts, en adviseer vervolgens welke technologieën moeten worden ingevoerd.
- Help de orkestratielaag opbouwen voor modeltoelating, GPU-planning en -partitionering, cachebewuste request-routing en autoscaling.
- Los klantproblemen van begin tot eind op, bepaal de onderliggende oorzaken en versterk gerelateerde systemen en processen.
- Beoordeel code en ontwerpen, begeleid collega’s en geef het goede voorbeeld met sterke engineeringpraktijken.
Vereisten
- Minimaal 8 jaar ervaring in softwareontwikkeling.
- Eén tot twee of meer jaar directe ervaring met LLM-inferentieruntimes of production model serving.
- Een diploma in computerwetenschappen of een verwante studierichting.
- Kennis van LLM-inference-engines zoals vLLM, SGLang, TensorRT-LLM, TGI of NVIDIA NIM, inclusief ervaring met het aanpassen van interne enginecomponenten.
- Sterke kennis van continuous batching, paged attention, KV-cachehergebruik en prefix caching, chunked prefill, quantisatie en speculative decoding.
- Praktische kennis van tensor- en pipelineparallelisme, NCCL-collectieve bewerkingen, de GPU-geheugenhiërarchie en interconnectgedrag.
- Gevorderde kennis van Kubernetes-platformarchitectuur, waaronder operators, custom resources, controllers en scheduling.
- Sterke programmeervaardigheden in Go en Python.
- Vermogen om C++ en CUDA te lezen, debuggen en profileren met tools zoals Nsight.
- Kennis van het debuggen en profileren van workloads met meerdere lagen, waaronder RAG- en agenttoepassingen.
- Uitstekende analytische vaardigheden en sterke vaardigheden op het gebied van debuggen en probleemoplossing.
- Pré: Bijdragen aan vLLM, SGLang, TensorRT-LLM, llm-d, LMCache of KServe.
- Pré: Ervaring met disaggregated prefill- en decode-serving of grootschalig offloaden en hergebruik van KV-caches.
- Pré: Ervaring met RDMA, GPUDirect Storage, InfiniBand of RoCE.
- Pré: Ervaring met MIG, fractionele GPU-toewijzing en multi-tenant GPU-isolatie.
- Pré: Ervaring met het opleveren van software voor on-premises-, air-gapped- of gereguleerde bedrijfsomgevingen.
Voordelen
- Uitgebreide arbeidsvoorwaarden ter ondersteuning van fysieke gezondheid, financiële zekerheid en emotioneel welzijn.
- Programma’s ter ondersteuning van persoonlijke en professionele groei.
- Flexibiliteit voor werkregelingen en persoonlijke behoeften.
- Een inclusieve werkcultuur.
- Redelijke aanpassingen tijdens het sollicitatie- of interviewproces voor gekwalificeerde kandidaten met een beperking.