Hewlett Packard Enterprise mengembangkan teknologi perusahaan untuk organisasi yang menjalankan cloud hybrid dan operasi berbasis AI. Portofolionya mencakup server HPE ProLiant dan komputasi berkinerja tinggi HPE Cray, penyimpanan HPE Alletra, jaringan HPE Aruba, platform AI dan pabrik AI siap pakai, serta solusi GreenLake berbasis layanan. HPE juga menyediakan kemampuan keamanan seperti Zero Trust dan SASE, bersama layanan profesional, konsultasi, dan dukungan yang membantu organisasi besar memodernisasi infrastruktur, mengelola lingkungan pusat data, dan menerapkan AI dalam skala besar.
Insinyur Perangkat Lunak Inferensi Senior di HPE Hybrid
Memimpin pengembangan runtime inferensi LLM HPE AI Essentials untuk infrastruktur milik pelanggan. Tingkatkan penyajian yang efisien dengan GPU, eksekusi terdistribusi, dan orkestrasi Kubernetes.
Deskripsi
- Mengelola komponen inti deployment penyajian LLM, termasuk integrasi engine, batching berkelanjutan, pengelolaan dan penggunaan ulang cache-KV, serta eksekusi terkuantisasi.
- Bekerja sama dengan tim engineering inferensi untuk mengurangi waktu hingga token pertama, latensi antartoken, throughput GPU, dan latensi ekor P95/P99.
- Mengembangkan dan mengoperasikan fitur eksekusi terdistribusi seperti prefill dan decode terdisagregasi, paralelisme tensor dan pipeline, serta offload cache-KV di seluruh memori GPU, memori host, dan penyimpanan yang terhubung melalui RDMA.
- Menilai runtime, metode kuantisasi, speculative decoding, dan penyajian mixture-of-experts yang baru muncul, lalu merekomendasikan teknologi untuk diadopsi.
- Membantu membangun lapisan orkestrasi yang mencakup penerimaan model, penjadwalan dan pemartisian GPU, routing permintaan yang sadar cache, serta penskalaan otomatis.
- Menyelesaikan masalah pelanggan secara menyeluruh, menentukan akar masalah, dan memperkuat sistem serta proses terkait.
- Meninjau kode dan desain, membimbing kolega, serta menjadi teladan dalam praktik engineering yang kuat.
Persyaratan
- Setidaknya 8 tahun pengalaman dalam rekayasa perangkat lunak.
- Pengalaman langsung selama satu hingga dua tahun atau lebih dengan runtime inferensi LLM atau penyajian model produksi.
- Gelar dalam ilmu komputer atau bidang terkait.
- Familiar dengan engine inferensi LLM seperti vLLM, SGLang, TensorRT-LLM, TGI, atau NVIDIA NIM, termasuk pengalaman memodifikasi internal engine.
- Pengetahuan kuat tentang batching berkelanjutan, paged attention, penggunaan ulang cache-KV dan caching awalan, prefill terpotong, kuantisasi, serta speculative decoding.
- Pengetahuan kerja tentang paralelisme tensor dan pipeline, operasi kolektif NCCL, hierarki memori GPU, dan perilaku interkoneksi.
- Kemahiran tingkat lanjut dalam arsitektur platform Kubernetes, termasuk operator, resource kustom, controller, dan penjadwalan.
- Keterampilan pemrograman yang kuat dalam Go dan Python.
- Mampu membaca, men-debug, dan membuat profil C++ serta CUDA menggunakan alat seperti Nsight.
- Familiar dengan debugging dan profiling beban kerja bertingkat, termasuk aplikasi RAG dan agen.
- Keterampilan analitis, debugging, dan pemecahan masalah yang sangat baik.
- Diutamakan: Kontribusi pada vLLM, SGLang, TensorRT-LLM, llm-d, LMCache, atau KServe.
- Diutamakan: Pengalaman dengan penyajian prefill dan decode terdisagregasi atau offload dan penggunaan ulang cache-KV berskala besar.
- Diutamakan: Pengalaman dengan RDMA, GPUDirect Storage, InfiniBand, atau RoCE.
- Diutamakan: Pengalaman dengan MIG, alokasi GPU fraksional, dan isolasi GPU multi-tenant.
- Diutamakan: Pengalaman mengembangkan perangkat lunak untuk lingkungan enterprise on-premises, air-gapped, atau teregulasi.
Tunjangan
- Paket manfaat komprehensif yang mendukung kesehatan fisik, keamanan finansial, dan kesejahteraan emosional.
- Program yang mendukung pertumbuhan pribadi dan profesional.
- Fleksibilitas untuk pengaturan kerja dan kebutuhan pribadi.
- Budaya tempat kerja yang inklusif.
- Akomodasi yang wajar selama proses lamaran atau wawancara bagi pelamar disabilitas yang memenuhi syarat.