Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise kuria įmonių technologijas organizacijoms, naudojančioms hibridinį debesį ir dirbtiniu intelektu grindžiamas operacijas. Jos produktų portfelį sudaro HPE ProLiant serveriai ir HPE Cray didelio našumo skaičiavimo sprendimai, HPE Alletra duomenų saugyklos, HPE Aruba tinklo sprendimai, dirbtinio intelekto platformos ir visiškai paruoštos dirbtinio intelekto gamyklos, taip pat „GreenLake“ sprendimai kaip paslauga. HPE taip pat teikia saugumo funkcijas, tokias kaip „Zero Trust“ ir SASE, bei profesionalias, konsultavimo ir palaikymo paslaugas, padedančias didelėms organizacijoms modernizuoti infrastruktūrą, valdyti duomenų centrų aplinkas ir plačiu mastu diegti dirbtinį intelektą.

Vyresnysis LLM išvadų programinės įrangos inžinierius HPE hibridinėje aplinkoje

Vadovaukite HPE AI Essentials įmonėms skirto LLM išvadų vykdymo laiko aplinkos kūrimui klientų infrastruktūroje. Tobulinkite efektyvų GPU naudojimą teikiant paslaugas, paskirstytą vykdymą ir orkestravimą naudojant Kubernetes.

Aprašymas

  • Būkite atsakingi už pagrindinius LLM paslaugos diegimo komponentus, įskaitant variklio integravimą, nuolatinį paketavimą, KV talpyklos valdymą ir pakartotinį naudojimą bei kvantuotą vykdymą.
  • Dirbkite su išvadų inžinerijos komandomis, kad sutrumpintumėte laiką iki pirmojo žetono, sumažintumėte delsą tarp žetonų, padidintumėte GPU pralaidumą ir sumažintumėte P95/P99 uodegos delsą.
  • Kurkite ir eksploatuokite paskirstyto vykdymo funkcijas, tokias kaip atskirtas paruošimas ir dekodavimas, tenzorinis ir konvejerinis lygiagretinimas bei KV talpyklos perkėlimas tarp GPU atminties, pagrindinio kompiuterio atminties ir per RDMA prijungtos saugyklos.
  • Vertinkite naujas vykdymo laiko aplinkas, kvantavimo metodus, spekuliatyvų dekodavimą ir ekspertų mišinio paslaugas, tada rekomenduokite diegti tinkamas technologijas.
  • Padėkite kurti orkestravimo sluoksnį, apimantį modelių priėmimą, GPU planavimą ir skaidymą, talpyklą išmanantį užklausų maršrutizavimą bei automatinį mastelio keitimą.
  • Spręskite klientų problemas nuo pradžios iki pabaigos, nustatykite pagrindines priežastis ir stiprinkite susijusias sistemas bei procesus.
  • Peržiūrėkite kodą ir sprendinius, ugdykite kolegas ir rodykite aukštų inžinerijos standartų pavyzdį.

Reikalavimai

  • Ne mažesnė nei 8 metų programinės įrangos kūrimo patirtis.
  • Vienų–dvejų ar daugiau metų tiesioginė LLM išvadų vykdymo laiko aplinkų arba gamybinio modelių aptarnavimo patirtis.
  • Informatikos arba susijusios srities išsilavinimas.
  • LLM išvadų variklių, tokių kaip vLLM, SGLang, TensorRT-LLM, TGI ar NVIDIA NIM, išmanymas, įskaitant patirtį keičiant vidinius variklio komponentus.
  • Puikios nuolatinio paketavimo, puslapiuotosios dėmesio mechanizmo, KV talpyklos pakartotinio naudojimo ir prefikso talpyklos, dalinio paruošimo, kvantavimo bei spekuliatyvaus dekodavimo žinios.
  • Tenzorinio ir konvejerinio lygiagretinimo, NCCL kolektyvinių operacijų, GPU atminties hierarchijos ir jungčių veikimo išmanymas.
  • Aukšto lygio Kubernetes platformos architektūros išmanymas, įskaitant operatorius, pasirinktinius išteklius, valdiklius ir planavimą.
  • Puikūs programavimo Go ir Python kalbomis įgūdžiai.
  • Gebėjimas skaityti, derinti ir profiliuoti C++ bei CUDA kodą naudojant tokius įrankius kaip Nsight.
  • Daugiapakopių darbo krūvių, įskaitant RAG ir agentų programas, derinimo ir profiliavimo išmanymas.
  • Puikūs analitiniai, derinimo ir problemų sprendimo įgūdžiai.
  • Privalumas: indėlis į vLLM, SGLang, TensorRT-LLM, llm-d, LMCache ar KServe projektus.
  • Privalumas: atskiro paruošimo ir dekodavimo aptarnavimo arba didelio masto KV talpyklos perkėlimo ir pakartotinio naudojimo patirtis.
  • Privalumas: RDMA, GPUDirect Storage, InfiniBand arba RoCE patirtis.
  • Privalumas: MIG, dalinių GPU išteklių skyrimo ir daugelio nuomininkų GPU izoliavimo patirtis.
  • Privalumas: programinės įrangos tiekimo vietinėms, nuo tinklo izoliuotoms arba reguliuojamoms įmonių aplinkoms patirtis.

Privalumai

  • Visapusiškos naudos, padedančios rūpintis fizine sveikata, finansiniu saugumu ir emocine gerove.
  • Programos asmeniniam ir profesiniam augimui skatinti.
  • Lankstumas derinant darbo organizavimą ir asmeninius poreikius.
  • Įtrauki darbo kultūra.
  • Kvalifikuotiems kandidatams su negalia taikomos tinkamos sąlygos paraiškos teikimo ar pokalbio metu.

Susiję darbai

EMCOR Group, Inc.

Senior Building Automation Application Engineer III

EMCOR Group, Inc.

Design and commission HVAC building automation controls for Mesa Energy Systems, including BAS programming and network integration. Mentor controls engineers and support projects from system planning through customer training.

Atidaryti
Hewlett Packard Enterprise

Senior Federal Presales Systems Engineer, Networking

Hewlett Packard Enterprise

Lead HPE Networking solution design and technical sales for Federal Systems Integrators and their government customers. Support strategic pursuits involving secure enterprise, data center, and WAN architectures across the United States.

Atidaryti
Hewlett Packard Enterprise

Senior Presales Systems Engineer, Federal Systems Integrators

Hewlett Packard Enterprise

Advise federal systems integrators and government customers as an HPE Networking presales engineer. Design secure networking solutions and support strategic pursuits across the United States.

Atidaryti
Computershare UK

Onsite Site Support Technician – Computershare, Toronto

Computershare UK
1 001 – 5 000 Darbuotojai
KonsultavimasLogistikaRinkodara

Provide onsite support for hardware, software, and connectivity issues at Computershare, a global financial administration company. Maintain IT assets and workspaces, assist with projects, and support internal users.

Atidaryti
GE HealthCare

Field Service Engineer, Medical Equipment — Columbia, SC

GE HealthCare

Install, maintain, and repair GE HealthCare medical equipment at hospitals and healthcare systems in Columbia and nearby South Carolina communities. Provide onsite customer support, manage service issues through resolution, and coordinate with regional and national support teams.

Atidaryti
RTX

FTO Systems Engineer, Next-Generation B737-800 Testbed

RTX

Lead developmental flight testing for Raytheon’s modified Boeing 737-800 testbed, coordinating engineering teams and aircraft integration. Manage project budgets, schedules, customer updates, and secure program execution.

Atidaryti
Shermco Industries

Senior NETA Field Service Technician

Shermco Industries

Test and troubleshoot industrial electrical power systems for Shermco Industries at customer sites across Georgia and nearby states. The role includes regional travel and emergency on-call rotations.

Atidaryti
Shermco Industries

Field Service Technician SkillBridge Trainee

Shermco Industries

Train with Shermco Industries in electrical testing and power-system services. Build skills in high-voltage testing, troubleshooting, commissioning, and maintenance through the Military SkillBridge program.

Atidaryti