Hewlett Packard Enterprise membangunkan teknologi perusahaan untuk organisasi yang mengendalikan awan hibrid dan operasi berasaskan AI. Portfolionya merangkumi pelayan HPE ProLiant dan pengkomputeran berprestasi tinggi HPE Cray, storan HPE Alletra, rangkaian HPE Aruba, platform AI dan kilang AI siap guna, serta penyelesaian GreenLake sebagai perkhidmatan. HPE turut menyediakan keupayaan keselamatan seperti Zero Trust dan SASE, di samping perkhidmatan profesional, nasihat dan sokongan yang membantu organisasi besar memodenkan infrastruktur, mengurus persekitaran pusat data dan melaksanakan AI pada skala besar.
Jurutera Perisian Inferens Kanan di HPE Hybrid
Memimpin pembangunan runtime inferens LLM HPE AI Essentials untuk infrastruktur milik pelanggan. Tingkatkan penyajian yang cekap GPU, pelaksanaan teragih, dan orkestrasi Kubernetes.
Penerangan
- Mengurus komponen teras deployment penyajian LLM, termasuk integrasi enjin, batching berterusan, pengurusan dan penggunaan semula cache-KV, serta pelaksanaan terkuantum.
- Bekerjasama dengan pasukan kejuruteraan inferens untuk mengurangkan masa hingga token pertama, kependaman antara token, throughput GPU, dan kependaman ekor P95/P99.
- Membangunkan dan mengendalikan ciri pelaksanaan teragih seperti prefill dan decode terdisagregasi, paralelisme tensor dan saluran paip, serta offload cache-KV merentas memori GPU, memori hos, dan storan yang disambungkan melalui RDMA.
- Menilai runtime, kaedah kuantisasi, speculative decoding, dan penyajian mixture-of-experts yang baharu muncul, kemudian mengesyorkan teknologi untuk diterima pakai.
- Membantu membina lapisan orkestrasi yang merangkumi penerimaan model, penjadualan dan pempartisian GPU, penghalaan permintaan berasaskan cache, serta penskalaan automatik.
- Menyelesaikan isu pelanggan dari hujung ke hujung, menentukan punca asas, dan memperkukuh sistem serta proses berkaitan.
- Menyemak kod dan reka bentuk, membimbing rakan sekerja, serta menunjukkan amalan kejuruteraan yang kukuh.
Keperluan
- Sekurang-kurangnya 8 tahun pengalaman dalam kejuruteraan perisian.
- Pengalaman langsung selama satu hingga dua tahun atau lebih dengan runtime inferens LLM atau penyajian model produksi.
- Ijazah dalam sains komputer atau bidang berkaitan.
- Biasa dengan enjin inferens LLM seperti vLLM, SGLang, TensorRT-LLM, TGI, atau NVIDIA NIM, termasuk pengalaman mengubah suai dalaman enjin.
- Pengetahuan kukuh tentang batching berterusan, paged attention, penggunaan semula cache-KV dan caching awalan, prefill berpecah, kuantisasi, serta speculative decoding.
- Pengetahuan kerja tentang paralelisme tensor dan saluran paip, operasi kolektif NCCL, hierarki memori GPU, dan tingkah laku interkoneksi.
- Kecekapan lanjutan dalam seni bina platform Kubernetes, termasuk operator, sumber tersuai, pengawal, dan penjadualan.
- Kemahiran pengaturcaraan yang kukuh dalam Go dan Python.
- Mampu membaca, menyahpepijat, dan memprofil C++ serta CUDA menggunakan alat seperti Nsight.
- Biasa dengan penyahpepijatan dan pemprofilan beban kerja berbilang peringkat, termasuk aplikasi RAG dan ejen.
- Kemahiran analisis, penyahpepijatan, dan penyelesaian masalah yang cemerlang.
- Diutamakan: Sumbangan kepada vLLM, SGLang, TensorRT-LLM, llm-d, LMCache, atau KServe.
- Diutamakan: Pengalaman dengan penyajian prefill dan decode terdisagregasi atau offload dan penggunaan semula cache-KV berskala besar.
- Diutamakan: Pengalaman dengan RDMA, GPUDirect Storage, InfiniBand, atau RoCE.
- Diutamakan: Pengalaman dengan MIG, peruntukan GPU pecahan, dan pengasingan GPU berbilang penyewa.
- Diutamakan: Pengalaman menyampaikan perisian untuk persekitaran perusahaan on-premises, air-gapped, atau terkawal.
Faedah
- Pakej manfaat menyeluruh yang menyokong kesihatan fizikal, keselamatan kewangan, dan kesejahteraan emosi.
- Program yang menyokong pertumbuhan peribadi dan profesional.
- Fleksibiliti untuk aturan kerja dan keperluan peribadi.
- Budaya tempat kerja yang inklusif.
- Akomodasi munasabah semasa proses permohonan atau temu duga untuk pemohon kurang upaya yang layak.