Hewlett Packard Enterprise hutengeneza teknolojia za biashara kwa mashirika yanayoendesha wingu mseto na shughuli zinazoendeshwa na AI. Mkusanyiko wake wa bidhaa unajumuisha seva za HPE ProLiant na kompyuta za utendaji wa juu za HPE Cray, hifadhi ya HPE Alletra, mitandao ya HPE Aruba, mifumo ya AI na viwanda vya AI vilivyo tayari kutumika, pamoja na suluhisho za GreenLake zinazotolewa kama huduma. HPE pia hutoa uwezo wa usalama kama vile Zero Trust na SASE, pamoja na huduma za kitaalamu, ushauri na usaidizi zinazosaidia mashirika makubwa kuboresha miundombinu, kusimamia mazingira ya vituo vya data na kupeleka AI kwa kiwango kikubwa.
Mhandisi Mwandamizi wa Programu za Inferensi katika HPE Hybrid
Ongoza uundaji wa runtime ya inferensi ya LLM ya HPE AI Essentials kwa miundombinu inayomilikiwa na wateja. Boresha uwasilishaji unaotumia GPU kwa ufanisi, utekelezaji uliosambazwa, na uoratibu wa Kubernetes.
Maelezo
- Simamia vipengele vya msingi vya deployment ya uwasilishaji wa LLM, ikiwemo ujumuishaji wa engine, batching endelevu, usimamizi na matumizi tena ya KV cache, pamoja na utekelezaji uliokwantishwa.
- Fanya kazi na timu za uhandisi wa inferensi kupunguza muda hadi tokeni ya kwanza, muda wa kusubiri kati ya tokeni, throughput ya GPU, na tail latency ya P95/P99.
- Tengeneza na uendeshe vipengele vya utekelezaji uliosambazwa kama vile prefill na decode zilizotenganishwa, ulinganifu wa tensor na pipeline, pamoja na offload ya KV-cache kwenye kumbukumbu ya GPU, kumbukumbu ya host, na hifadhi iliyounganishwa kwa RDMA.
- Tathmini runtime zinazoibuka, mbinu za kuquantisha, speculative decoding, na uwasilishaji wa mixture-of-experts, kisha pendekeza teknolojia za kupitisha.
- Saidia kujenga safu ya uoratibu inayojumuisha upokeaji wa modeli, upangaji na ugawaji wa GPU, uelekezaji wa maombi unaotambua cache, na autoscaling.
- Tatua masuala ya wateja kutoka mwanzo hadi mwisho, tambua visababishi vya msingi, na uimarishe mifumo na michakato inayohusiana.
- Kagua msimbo na miundo, washauri wenzako, na uonyeshe mbinu thabiti za uhandisi.
Mahitaji
- Angalau miaka 8 ya uzoefu wa uhandisi wa programu.
- Mwaka mmoja hadi miwili au zaidi ya uzoefu wa moja kwa moja wa runtime za inferensi ya LLM au uwasilishaji wa modeli katika uzalishaji.
- Shahada ya sayansi ya kompyuta au taaluma inayohusiana.
- Uzoefu na engine za inferensi ya LLM kama vLLM, SGLang, TensorRT-LLM, TGI, au NVIDIA NIM, pamoja na uzoefu wa kurekebisha sehemu za ndani za engine.
- Ujuzi thabiti wa batching endelevu, paged attention, matumizi tena ya KV-cache na prefix caching, chunked prefill, kuquantisha, na speculative decoding.
- Ujuzi wa kufanya kazi na ulinganifu wa tensor na pipeline, operesheni za pamoja za NCCL, mpangilio wa kumbukumbu ya GPU, na tabia ya interconnect.
- Ustadi wa hali ya juu katika usanifu wa jukwaa la Kubernetes, ikiwemo operators, custom resources, controllers, na scheduling.
- Ujuzi thabiti wa programu katika Go na Python.
- Uwezo wa kusoma, kutatua hitilafu, na ku-profail C++ na CUDA kwa kutumia zana kama Nsight.
- Uzoefu wa kutatua hitilafu na ku-profail mizigo ya kazi ya ngazi nyingi, ikiwemo programu za RAG na agent.
- Uwezo bora wa uchanganuzi, utatuzi wa hitilafu, na kutatua matatizo.
- Inapendelewa: Michango kwa vLLM, SGLang, TensorRT-LLM, llm-d, LMCache, au KServe.
- Inapendelewa: Uzoefu wa uwasilishaji wa prefill na decode zilizotenganishwa au offload na matumizi tena ya KV-cache kwa kiwango kikubwa.
- Inapendelewa: Uzoefu wa RDMA, GPUDirect Storage, InfiniBand, au RoCE.
- Inapendelewa: Uzoefu wa MIG, ugawaji wa GPU kwa sehemu, na utenganishaji wa GPU za wapangaji wengi.
- Inapendelewa: Uzoefu wa kuwasilisha programu kwa mazingira ya biashara ya on-premises, air-gapped, au yanayodhibitiwa.
Manufaa
- Manufaa kamili yanayosaidia afya ya mwili, usalama wa kifedha, na ustawi wa kihisia.
- Programu zinazosaidia ukuaji wa kibinafsi na kitaaluma.
- Unyumbufu wa mipangilio ya kazi na mahitaji ya kibinafsi.
- Utamaduni wa mahali pa kazi unaojumuisha wote.
- Marekebisho yanayofaa wakati wa mchakato wa kutuma maombi au usaili kwa waombaji wenye ulemavu wanaostahiki.