Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise udvikler virksomhedsteknologi til organisationer, der driver hybridcloud og AI-drevne aktiviteter. Produktporteføljen omfatter HPE ProLiant-servere og HPE Cray-højtydende databehandling, HPE Alletra-lagring, HPE Aruba-netværk, AI-platforme og komplette AI-fabrikker samt GreenLake-løsninger som en tjeneste. HPE leverer også sikkerhedsfunktioner som Zero Trust og SASE samt professionelle tjenester, rådgivning og support, der hjælper store organisationer med at modernisere infrastrukturen, administrere datacentermiljøer og implementere AI i stor skala.

Senior softwareingeniør inden for inferens hos HPE Hybrid

Led udviklingen af HPE AI Essentials' virksomhedsplatform til LLM-inferens på kundeejet infrastruktur. Forbedr GPU-effektiv serving, distribueret eksekvering og Kubernetes-orkestrering.

Beskrivelse

  • Eje centrale komponenter i implementeringen af LLM-serving, herunder motorintegration, kontinuerlig batching, håndtering og genbrug af KV-cache samt kvantiseret eksekvering.
  • Samarbejde med inference engineering-teams om at reducere tiden til første token, latenstiden mellem tokens, GPU-gennemstrømningen samt hale-latenstid ved P95/P99.
  • Udvikle og drive funktioner til distribueret eksekvering, såsom disaggregeret prefill og decode, tensor- og pipeline-parallelitet samt aflastning af KV-cache på tværs af GPU-hukommelse, værthukommelse og RDMA-tilsluttet lager.
  • Vurdere nye runtime-miljøer, kvantiseringsmetoder, spekulativ dekodning og serving af mixture-of-experts og anbefale teknologier til indførelse.
  • Bidrage til at opbygge orkestreringslaget, der dækker modeloptagelse, GPU-scheduling og partitionering, cachebevidst routing af forespørgsler samt autoskalering.
  • Løse kundeproblemer fra start til slut, fastslå rodårsager og styrke relaterede systemer og processer.
  • Gennemgå kode og design, vejlede kolleger og gå forrest med stærk engineering-praksis.

Krav

  • Mindst 8 års erfaring med softwareudvikling.
  • Mindst ét til to års direkte erfaring med runtime-miljøer til LLM-inferens eller model-serving i produktion.
  • En uddannelse i datalogi eller et beslægtet område.
  • Kendskab til LLM-inferensmotorer som vLLM, SGLang, TensorRT-LLM, TGI eller NVIDIA NIM, herunder erfaring med at ændre interne motorkomponenter.
  • Stærk viden om kontinuerlig batching, paged attention, genbrug af KV-cache og prefix-caching, chunked prefill, kvantisering og spekulativ dekodning.
  • Praktisk viden om tensor- og pipeline-parallelitet, kollektive NCCL-operationer, GPU-hukommelseshierarki og interconnect-adfærd.
  • Avancerede kompetencer inden for Kubernetes-platformsarkitektur, herunder operators, custom resources, controllers og scheduling.
  • Stærke programmeringsfærdigheder i Go og Python.
  • Evne til at læse, fejlfinde og profilere C++ og CUDA med værktøjer som Nsight.
  • Kendskab til fejlfinding og profilering af arbejdsbelastninger i flere lag, herunder RAG- og agentapplikationer.
  • Fremragende analytiske evner samt stærke færdigheder inden for fejlfinding og problemløsning.
  • Foretrukket: Bidrag til vLLM, SGLang, TensorRT-LLM, llm-d, LMCache eller KServe.
  • Foretrukket: Erfaring med disaggregeret prefill- og decode-serving eller storskalaaflastning og genbrug af KV-cache.
  • Foretrukket: Erfaring med RDMA, GPUDirect Storage, InfiniBand eller RoCE.
  • Foretrukket: Erfaring med MIG, fraktioneret GPU-allokering og GPU-isolering for flere lejere.
  • Foretrukket: Erfaring med at levere software til on-premises-, air-gapped- eller regulerede virksomhedsmiljøer.

Fordele

  • Omfattende personalegoder, der understøtter fysisk sundhed, økonomisk tryghed og følelsesmæssigt velbefindende.
  • Programmer, der understøtter personlig og professionel udvikling.
  • Fleksibilitet i arbejdsformer og personlige behov.
  • En inkluderende arbejdskultur.
  • Rimelige tilpasninger under ansøgnings- eller interviewprocessen for kvalificerede ansøgere med handicap.

Relaterede job

Britive

Customer Success Manager for enterprise inden for cybersikkerhed

Britive

Stå for onboarding, ibrugtagning, fornyelser og kontovækst hos enterprise-kunder, der bruger Britives cloudplatform til privilegeret adgangsstyring. Samarbejde med sikkerheds- og tekniske interessenter om at skabe kundeværdi ved implementering og løbende brug.

Åbn
Job Duck

Specialist i juridisk fakturering og inkasso

Job Duck
201 – 500 Medarbejdere
JuraMarkedsføringRådgivning

Ansvar for månedlig fakturering, klientindeståender, inkasso og rapportering af kapacitetsudnyttelse for et advokatfirma med base i USA. Støt advokater med at overholde faktureringsregler, og brug AI-værktøjer til at forbedre faktureringsprocesserne.

Åbn
Nory

Customer Success Manager, restaurantsoftware

Nory

Ansvar for fornyelser, vækst i kundeporteføljen og kunderesultater for Norys restaurantkunder blandt små og mellemstore virksomheder samt mellemstore markedssegment. Hybridstillingen er baseret i New York og indebærer samarbejde med teams inden for onboarding, salg, produkt og drift.

Åbn
Connection

Senioransvarlig for kunderelationer på distancen – Illinois

Connection

Led kunderelationer og levering af it-tjenester for Connection, og afstem kontovækst og fastholdelse med kundernes mål. Led infrastrukturteams på stedet, og koordinér serviceydelser på tværs af interne interessenter.

Åbn
Medtronic

Direktør for klinisk forskning inden for perifer nervestimulation

Medtronic

Led Medtronics globale strategi for klinisk evidens inden for behandlinger med perifer nervestimulation gennem hele produktets livscyklus. Overvåg forskning før og efter markedsføring, der understøtter videnskabelige, regulatoriske, refusionsmæssige og kommercielle mål.

Åbn