Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise razvija poslovne tehnologije za organizacije, ki uporabljajo hibridni oblak in operacije, ki jih poganja umetna inteligenca. Njegov portfelj vključuje strežnike HPE ProLiant in visokozmogljivo računalništvo HPE Cray, shranjevanje HPE Alletra, omrežne rešitve HPE Aruba, platforme umetne inteligence in celovite tovarne AI ter rešitve GreenLake kot storitev. HPE ponuja tudi varnostne zmogljivosti, kot sta Zero Trust in SASE, skupaj s strokovnimi, svetovalnimi in podpornimi storitvami, ki velikim organizacijam pomagajo posodobiti infrastrukturo, upravljati okolja podatkovnih centrov in uvajati umetno inteligenco v velikem obsegu.

Višji programski inženir za inferenco v HPE Hybrid

Vodili boste razvoj poslovnega okolja za inferenco LLM v rešitvi HPE AI Essentials za infrastrukturo v lasti stranke. Izboljševali boste streženje z učinkovito uporabo grafičnih procesorjev, porazdeljeno izvajanje in orkestracijo v Kubernetesu.

Opis

  • Odgovorni boste za ključne komponente uvedbe streženja LLM, vključno z integracijo pogonov, neprekinjenim paketnim izvajanjem, upravljanjem in ponovno uporabo predpomnilnika KV ter kvantiziranim izvajanjem.
  • Sodelovali boste z ekipami za inženiring inference pri skrajševanju časa do prvega žetona, zakasnitve med žetoni, povečanju prepustnosti grafičnih procesorjev ter zmanjšanju repne zakasnitve P95/P99.
  • Razvijali in upravljali boste funkcije porazdeljenega izvajanja, kot so ločena prefill in decode, tenzorska in cevovodna vzporednost ter prenos predpomnilnika KV med pomnilnikom GPU, gostiteljskim pomnilnikom in shrambo, povezano prek RDMA.
  • Ocenjevali boste nova izvajalna okolja, metode kvantizacije, spekulativno dekodiranje in streženje modelov mixture-of-experts ter priporočali tehnologije za uvedbo.
  • Pomagali boste graditi orkestracijsko plast, ki vključuje sprejemanje modelov, razporejanje in particioniranje grafičnih procesorjev, usmerjanje zahtevkov z upoštevanjem predpomnilnika ter samodejno skaliranje.
  • Celovito boste reševali težave strank, ugotavljali temeljne vzroke ter krepili povezane sisteme in procese.
  • Pregledovali boste kodo in zasnove, mentorirali sodelavce ter s svojim zgledom spodbujali dobre inženirske prakse.

Zahteve

  • Vsaj 8 let izkušenj s programskim inženiringom.
  • Ena do dve ali več let neposrednih izkušenj z izvajalnimi okolji za inferenco LLM ali s produkcijskim streženjem modelov.
  • Diploma iz računalništva ali sorodne discipline.
  • Poznavanje pogonov za inferenco LLM, kot so vLLM, SGLang, TensorRT-LLM, TGI ali NVIDIA NIM, vključno z izkušnjami pri spreminjanju notranjosti pogonov.
  • Poglobljeno znanje neprekinjenega paketnega izvajanja, paged attention, ponovne uporabe predpomnilnika KV in prefix caching, chunked prefill, kvantizacije ter spekulativnega dekodiranja.
  • Delovno znanje tenzorske in cevovodne vzporednosti, kolektivnih operacij NCCL, hierarhije pomnilnika GPU ter delovanja medsebojnih povezav.
  • Napredno znanje arhitekture platforme Kubernetes, vključno z operatorji, prilagojenimi viri, krmilniki in razporejanjem.
  • Dobro znanje programiranja v jezikih Go in Python.
  • Sposobnost branja, odpravljanja napak in profiliranja C++ ter CUDA z orodji, kot je Nsight.
  • Poznavanje odpravljanja napak in profiliranja večnivojskih delovnih obremenitev, vključno z aplikacijami RAG in agentskimi aplikacijami.
  • Odlične analitične sposobnosti ter sposobnosti odpravljanja napak in reševanja problemov.
  • Zaželeni so prispevki k projektom vLLM, SGLang, TensorRT-LLM, llm-d, LMCache ali KServe.
  • Zaželene so izkušnje z ločenim streženjem prefill in decode ali z obsežnim prenosom in ponovno uporabo predpomnilnika KV.
  • Zaželene so izkušnje z RDMA, GPUDirect Storage, InfiniBand ali RoCE.
  • Zaželene so izkušnje z MIG, dodeljevanjem delnih virov GPU in izolacijo GPU v večnajemniških okoljih.
  • Zaželene so izkušnje z zagotavljanjem programske opreme za lokalna, omrežno izolirana ali regulirana poslovna okolja.

Ugodnosti

  • Celovit paket ugodnosti za podporo telesnemu zdravju, finančni varnosti in čustvenemu dobremu počutju.
  • Programi za podporo osebni in poklicni rasti.
  • Prilagodljivost pri ureditvi dela in osebnih potrebah.
  • Vključujoča kultura delovnega mesta.
  • Razumne prilagoditve med postopkom prijave ali razgovora za kvalificirane kandidate z invalidnostmi.

Sorodna delovna mesta

Bloomlife Inc

Remote Account Sales Executive, Healthcare

Bloomlife Inc

Grow Bloomlife’s remote maternal-fetal monitoring business by selling remote patient monitoring solutions to OB/GYN practices and health systems. Manage the full sales cycle, from prospecting and clinical presentations to contract negotiations and deployment handoffs.

Odpri
Illumina

Clinical Sales Specialist, Genomics — Thailand, Indonesia and Vietnam

Illumina

Support Illumina’s clinical genomics sales across Thailand, Indonesia and Vietnam, advising customers on applications, workflows and products. The role spans reproductive and genetic health, oncology, customer development and regional market growth.

Odpri
Trane Technologies

Senior Executive Assistant, Digital Leadership

Trane Technologies

Support Trane Technologies’ Digital leadership team by coordinating executive schedules, travel, meetings, communications, and procurement. The role covers leaders across the United States and requires on-site work in White Bear Lake, Minnesota, Monday through Thursday.

Odpri