Hewlett Packard Enterprise arendab ettevõtetele tehnoloogialahendusi organisatsioonidele, kes kasutavad hübriidpilve ja tehisintellektil põhinevaid toiminguid. Selle tootevalik hõlmab HPE ProLiant servereid ja HPE Cray suure jõudlusega andmetöötlust, HPE Alletra salvestuslahendusi, HPE Aruba võrgulahendusi, tehisintellekti platvorme ja võtmed kätte lahendusena pakutavaid tehisintellektivabrikuid ning GreenLake’i teenusena pakutavaid lahendusi. HPE pakub ka selliseid turbefunktsioone nagu Zero Trust ja SASE ning professionaalseid, nõustamis- ja tugiteenuseid, mis aitavad suurtel organisatsioonidel taristut ajakohastada, andmekeskuste keskkondi hallata ja tehisintellekti ulatuslikult kasutusele võtta.
Vanem järeldustarkvara insener HPE hübriidkeskkonnas
Juhi HPE AI Essentialsi ettevõtetele mõeldud LLM-i järeldusmootori arendamist klientide omas infrastruktuuris. Täiusta GPU-tõhusat teenindust, hajutatud täitmist ja Kubernetesega orkestreerimist.
Kirjeldus
- Vastuta LLM-i teenindusjuurutuse põhikomponentide eest, sealhulgas mootori integreerimise, pideva pakktöötluse, KV-vahemälu haldamise ja taaskasutuse ning kvantiseeritud täitmise eest.
- Tööta järeldusinseneride meeskondadega, et vähendada esimese tokeni valmimise aega ja tokenitevahelist latentsust ning parandada GPU läbilaskevõimet ja P95/P99 saba-latentsust.
- Arenda ja käita hajutatud täitmise funktsioone, nagu eraldatud eeltäitmine ja dekodeerimine, tensor- ja torujuhtmete paralleelsus ning KV-vahemälu mahalaadimine GPU-mälu, hostimälu ja RDMA-ga ühendatud salvestuse vahel.
- Hinda uusi käituskeskkondi, kvantiseerimismeetodeid, spekulatiivset dekodeerimist ja ekspertide segu teenindust ning soovita kasutuselevõetavaid tehnoloogiaid.
- Aita luua orkestreerimiskiht, mis hõlmab mudelite vastuvõtmist, GPU-de ajastamist ja jaotamist, vahemäluteadlikku päringute suunamist ning automaatset skaleerimist.
- Lahenda klientide probleemid algusest lõpuni, selgita välja algpõhjused ning tugevda seotud süsteeme ja protsesse.
- Vaata üle kood ja lahendused, juhenda kolleege ning näita eeskuju heades inseneritavades.
Nõuded
- Vähemalt 8 aastat tarkvaraarenduse kogemust.
- Üks kuni kaks või enam aastat otsest kogemust LLM-i järeldusmootorite või tootmises kasutatava mudeliteenindusega.
- Arvutiteaduse või lähedase eriala kraad.
- LLM-i järeldusmootorite (nt vLLM, SGLang, TensorRT-LLM, TGI või NVIDIA NIM) tundmine, sealhulgas kogemus mootorite sisemuse muutmisega.
- Põhjalikud teadmised pidevast pakktöötlusest, lehekülgedega tähelepanust, KV-vahemälu taaskasutusest ja prefiksivahemälust, tükeldatud eeltäitmisest, kvantiseerimisest ning spekulatiivsest dekodeerimisest.
- Tensor- ja torujuhtmete paralleelsuse, NCCL-i kollektiivsete operatsioonide, GPU-mäluhierarhia ja ühenduste toimimise praktilised teadmised.
- Kubernetesi platvormiarhitektuuri kõrgtasemel oskus, sealhulgas operaatorid, kohandatud ressursid, kontrollerid ja ajastamine.
- Head programmeerimisoskused Go ja Pythoniga.
- Võime lugeda, siluda ja profileerida C++-i ja CUDA-t selliste tööriistadega nagu Nsight.
- Mitmetasandiliste töökoormuste, sealhulgas RAG-i ja agendirakenduste silumise ja profileerimise kogemus.
- Suurepärased analüüsi-, silumis- ja probleemilahendusoskused.
- Soovituslik: panus vLLM-i, SGLangi, TensorRT-LLM-i, llm-d-sse, LMCache'i või KServe'i.
- Soovituslik: kogemus eraldatud eeltäitmise ja dekodeerimise teeninduse või suuremahulise KV-vahemälu mahalaadimise ja taaskasutusega.
- Soovituslik: kogemus RDMA, GPUDirect Storage'i, InfiniBandi või RoCE-ga.
- Soovituslik: kogemus MIG-i, murdosa-GPU-de eraldamise ja mitme rentnikuga GPU-isolatsiooniga.
- Soovituslik: kogemus tarkvara tarnimisega kohapealsetesse, õhuvahesse eraldatud või reguleeritud ettevõttekeskkondadesse.
Hüved
- Põhjalikud hüved, mis toetavad füüsilist tervist, rahalist kindlustunnet ja emotsionaalset heaolu.
- Programmid isikliku ja professionaalse arengu toetamiseks.
- Paindlikkus töökorralduses ja isiklikes vajadustes.
- Kaasav töökultuur.
- Kvalifitseeritud puudega kandidaatidele mõistlikud kohandused kandideerimis- või vestlusprotsessi ajal.