Hewlett Packard Enterprise utvecklar teknik för företag och organisationer som driver hybridmoln och AI-drivna verksamheter. Produktportföljen omfattar HPE ProLiant-servrar och HPE Cray-datorer för högpresterande databehandling, HPE Alletra-lagring, HPE Aruba-nätverk, AI-plattformar och kompletta AI-fabriker samt GreenLake-lösningar som tjänst. HPE erbjuder även säkerhetsfunktioner som Zero Trust och SASE samt professionella tjänster, rådgivning och support som hjälper stora organisationer att modernisera sin infrastruktur, hantera datacentermiljöer och införa AI i stor skala.
Senior mjukvaruingenjör inom inferens på HPE Hybrid
Led utvecklingen av HPE AI Essentials företagsplattform för LLM-inferens i kundägd infrastruktur. Förbättra GPU-effektiv servering, distribuerad exekvering och Kubernetes-orkestrering.
Beskrivning
- Ansvara för centrala komponenter i distributionen av LLM-servering, inklusive motorintegration, kontinuerlig batchning, hantering och återanvändning av KV-cache samt kvantiserad exekvering.
- Samarbeta med team inom inferensutveckling för att minska tiden till första token, latensen mellan token, GPU-genomströmningen samt svanslatens vid P95/P99.
- Utveckla och driftsätta funktioner för distribuerad exekvering, såsom separerad prefill och decode, tensor- och pipeline-parallellism samt avlastning av KV-cache mellan GPU-minne, värdminne och RDMA-ansluten lagring.
- Utvärdera nya runtime-miljöer, kvantiseringsmetoder, spekulativ avkodning och servering av mixture-of-experts, och rekommendera tekniker för införande.
- Bidra till att bygga orkestreringslagret för modellantagning, GPU-schemaläggning och partitionering, cachemedveten routning av förfrågningar samt autoskalning.
- Lösa kundproblem från början till slut, fastställa grundorsaker och stärka relaterade system och processer.
- Granska kod och design, handleda kollegor och föregå med gott exempel på starka ingenjörsmetoder.
Krav
- Minst 8 års erfarenhet av mjukvaruutveckling.
- Minst ett till två års direkt erfarenhet av runtime-miljöer för LLM-inferens eller produktionsservering av modeller.
- Examen i datavetenskap eller ett närliggande område.
- Kännedom om inferensmotorer för LLM, såsom vLLM, SGLang, TensorRT-LLM, TGI eller NVIDIA NIM, inklusive erfarenhet av att ändra interna motorkomponenter.
- Mycket goda kunskaper i kontinuerlig batchning, paged attention, återanvändning av KV-cache och prefix-caching, chunked prefill, kvantisering och spekulativ avkodning.
- Praktiska kunskaper i tensor- och pipeline-parallellism, kollektiva NCCL-operationer, GPU-minneshierarki och interconnect-beteende.
- Avancerad kompetens inom Kubernetes-plattformsarkitektur, inklusive operators, anpassade resurser, controllers och schemaläggning.
- Goda programmeringskunskaper i Go och Python.
- Förmåga att läsa, felsöka och profilera C++ och CUDA med verktyg som Nsight.
- Kännedom om felsökning och profilering av arbetslaster i flera lager, inklusive RAG- och agentapplikationer.
- Utmärkta analytiska färdigheter samt mycket god förmåga inom felsökning och problemlösning.
- Meriterande: Bidrag till vLLM, SGLang, TensorRT-LLM, llm-d, LMCache eller KServe.
- Meriterande: Erfarenhet av servering med separerad prefill och decode eller storskalig avlastning och återanvändning av KV-cache.
- Meriterande: Erfarenhet av RDMA, GPUDirect Storage, InfiniBand eller RoCE.
- Meriterande: Erfarenhet av MIG, fraktionerad GPU-allokering och isolering av GPU:er för flera klienter.
- Meriterande: Erfarenhet av att leverera programvara för lokala, luftgapade eller reglerade företagsmiljöer.
Förmåner
- Omfattande förmåner som stödjer fysisk hälsa, ekonomisk trygghet och emotionellt välbefinnande.
- Program som stödjer personlig och professionell utveckling.
- Flexibilitet för arbetsformer och personliga behov.
- En inkluderande arbetsplatskultur.
- Rimliga anpassningar under ansöknings- eller intervjuprocessen för kvalificerade sökande med funktionsnedsättning.