Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise izstrādā uzņēmumu tehnoloģijas organizācijām, kas izmanto hibrīdās mākoņvides un mākslīgā intelekta vadītus procesus. Tās produktu klāstā ietilpst HPE ProLiant serveri un HPE Cray augstas veiktspējas skaitļošanas risinājumi, HPE Alletra datu glabāšanas risinājumi, HPE Aruba tīklu risinājumi, mākslīgā intelekta platformas un pilnībā gatavas mākslīgā intelekta rūpnīcas, kā arī GreenLake risinājumi kā pakalpojums. HPE nodrošina arī tādas drošības iespējas kā Zero Trust un SASE, kā arī profesionālos, konsultāciju un atbalsta pakalpojumus, kas palīdz lielām organizācijām modernizēt infrastruktūru, pārvaldīt datu centru vidi un ieviest mākslīgo intelektu plašā mērogā.

Vecākais secināšanas programmatūras inženieris HPE hibrīdajā vidē

Vadiet HPE AI Essentials uzņēmumu LLM secināšanas izpildlaika vides izstrādi klientiem piederošā infrastruktūrā. Uzlabojiet GPU efektīvu apkalpošanu, sadalītu izpildi un Kubernetes orkestrēšanu.

Apraksts

  • Uzņemieties atbildību par LLM apkalpošanas izvietošanas pamatkomponentiem, tostarp dzinēja integrāciju, nepārtrauktu pakešu veidošanu, KV kešatmiņas pārvaldību un atkārtotu izmantošanu, kā arī kvantētu izpildi.
  • Sadarbojieties ar secināšanas inženierijas komandām, lai samazinātu laiku līdz pirmajam tokenam un latentumu starp tokeniem, kā arī uzlabotu GPU caurlaidspēju un P95/P99 astes latentumu.
  • Izstrādājiet un uzturiet sadalītas izpildes funkcijas, piemēram, atdalītu priekšapstrādi un dekodēšanu, tenzoru un konveijera paralēlismu, kā arī KV kešatmiņas pārvietošanu starp GPU atmiņu, resursdatora atmiņu un ar RDMA savienotu krātuvi.
  • Novērtējiet jaunās izpildlaika vides, kvantēšanas metodes, spekulatīvo dekodēšanu un ekspertu maisījuma apkalpošanu, pēc tam iesakiet ieviešanai piemērotas tehnoloģijas.
  • Palīdziet izveidot orkestrēšanas slāni, kas aptver modeļu pieņemšanu, GPU plānošanu un sadalīšanu, kešatmiņas kontekstu ņemošu pieprasījumu maršrutēšanu un automātisku mērogošanu.
  • Risiniet klientu problēmas no sākuma līdz beigām, nosakiet pamatcēloņus un stipriniet saistītās sistēmas un procesus.
  • Pārskatiet kodu un risinājumus, konsultējiet kolēģus un rādiet labas inženierijas prakses piemēru.

Prasības

  • Vismaz 8 gadu programmatūras izstrādes pieredze.
  • Viena līdz divu vai vairāk gadu tieša pieredze LLM secināšanas izpildlaika vidēs vai modeļu apkalpošanā produkcijā.
  • Datorzinātņu vai saistītas jomas grāds.
  • LLM secināšanas dzinēju, piemēram, vLLM, SGLang, TensorRT-LLM, TGI vai NVIDIA NIM, pārzināšana, tostarp pieredze dzinēju iekšējo komponentu modificēšanā.
  • Padziļinātas zināšanas par nepārtrauktu pakešu veidošanu, lapotu uzmanību, KV kešatmiņas atkārtotu izmantošanu un prefiksu kešatmiņu, segmentētu priekšapstrādi, kvantēšanu un spekulatīvo dekodēšanu.
  • Darba zināšanas par tenzoru un konveijera paralēlismu, NCCL kolektīvajām operācijām, GPU atmiņas hierarhiju un starpsavienojumu darbību.
  • Padziļināta Kubernetes platformas arhitektūras pārzināšana, tostarp operatori, pielāgoti resursi, kontrolleri un plānošana.
  • Spēcīgas programmēšanas prasmes Go un Python valodā.
  • Spēja lasīt, atkļūdot un profilēt C++ un CUDA, izmantojot tādus rīkus kā Nsight.
  • Daudzlīmeņu darba slodžu, tostarp RAG un aģentu lietotņu, atkļūdošanas un profilēšanas pārzināšana.
  • Teicamas analītiskās, atkļūdošanas un problēmu risināšanas prasmes.
  • Vēlams: ieguldījums vLLM, SGLang, TensorRT-LLM, llm-d, LMCache vai KServe izstrādē.
  • Vēlams: pieredze ar atdalītas priekšapstrādes un dekodēšanas apkalpošanu vai liela mēroga KV kešatmiņas pārvietošanu un atkārtotu izmantošanu.
  • Vēlams: pieredze ar RDMA, GPUDirect Storage, InfiniBand vai RoCE.
  • Vēlams: pieredze ar MIG, daļēju GPU piešķiršanu un daudznomnieku GPU izolāciju.
  • Vēlams: pieredze programmatūras piegādē lokālām, no tīkla izolētām vai regulētām uzņēmumu vidēm.

Priekšrocības

  • Visaptveroši labumi, kas atbalsta fizisko veselību, finansiālo drošību un emocionālo labklājību.
  • Programmas personīgās un profesionālās izaugsmes atbalstam.
  • Elastība darba organizēšanā un personīgo vajadzību nodrošināšanā.
  • Iekļaujoša darba kultūra.
  • Atbilstoši pielāgojumi kvalificētiem kandidātiem ar invaliditāti pieteikšanās vai intervijas procesā.

Saistītās vakances

MÜNZING CHEMIE GmbH

Sales Manager, Mid-Atlantic Specialty Chemicals

MÜNZING CHEMIE GmbH
501 – 1000 Darbinieki
ĶīmijaRažošana

Lead technical sales of specialty chemical additives across the Mid-Atlantic, serving customers in coatings, adhesives, inks, and construction. Manage existing accounts while developing new business through customer visits and project-based selling.

Atvērt
MÜNZING

MÜNZING Mid-Atlantic Sales Manager, Specialty Chemicals

MÜNZING

Lead territory sales for MÜNZING’s specialty chemical additives across the Mid-Atlantic, using technical project selling to develop customer relationships and close business. Manage a $3–5 million territory and build $1–2 million in near-term business potential across coatings, adhesives, inks, and construction markets.

Atvērt
ERM

Asbestos Specialist Consultant

ERM

Support ERM’s sustainability consulting work through asbestos sampling, site safety, and compliance. Manage asbestos projects at industrial and construction sites across Southern California.

Atvērt
Proofpoint

Mid-Market Named Account Manager, Cybersecurity — Proofpoint

Proofpoint

Sell Proofpoint’s cybersecurity platform to mid-market accounts in Washington or Oregon. The role covers account management, partner sales, prospecting, and complex multi-year solutions.

Atvērt
QMH Consulting GmbH

Senior Business Development and Key Account Manager

QMH Consulting GmbH

Grow QMH Consulting’s quality management services through key account leadership and business development. Manage OEM relationships, CRM-based sales processes, and new engineering services opportunities.

Atvērt