Hewlett Packard Enterprise พัฒนาเทคโนโลยีระดับองค์กรสำหรับองค์กรที่ดำเนินงานบนระบบคลาวด์แบบไฮบริดและการดำเนินงานที่ขับเคลื่อนด้วย AI กลุ่มผลิตภัณฑ์ครอบคลุมเซิร์ฟเวอร์ HPE ProLiant และระบบประมวลผลสมรรถนะสูง HPE Cray ระบบจัดเก็บข้อมูล HPE Alletra ระบบเครือข่าย HPE Aruba แพลตฟอร์ม AI และโรงงาน AI แบบครบวงจร ตลอดจนโซลูชัน GreenLake ในรูปแบบบริการ HPE ยังให้บริการด้านความปลอดภัย เช่น Zero Trust และ SASE รวมถึงบริการระดับมืออาชีพ บริการที่ปรึกษา และบริการสนับสนุนที่ช่วยให้องค์กรขนาดใหญ่ปรับปรุงโครงสร้างพื้นฐานให้ทันสมัย จัดการสภาพแวดล้อมศูนย์ข้อมูล และนำ AI ไปใช้งานในวงกว้าง
วิศวกรซอฟต์แวร์ระบบอนุมานอาวุโสที่ HPE Hybrid
เป็นผู้นำการพัฒนารันไทม์อนุมาน LLM ของ HPE AI Essentials สำหรับโครงสร้างพื้นฐานที่ลูกค้าเป็นเจ้าของ ปรับปรุงการให้บริการที่ใช้ GPU อย่างมีประสิทธิภาพ การประมวลผลแบบกระจาย และการจัดการ Kubernetes
รายละเอียด
- รับผิดชอบส่วนประกอบหลักของระบบปรับใช้บริการ LLM รวมถึงการผสานรวมเอนจิน การทำ continuous batching การจัดการและนำ KV-cache กลับมาใช้ใหม่ และการประมวลผลแบบ quantized
- ทำงานร่วมกับทีมวิศวกรรมระบบอนุมานเพื่อลดเวลาไปยังโทเคนแรก ความหน่วงระหว่างโทเคน อัตราการประมวลผลของ GPU และความหน่วงหาง P95/P99
- พัฒนาและดูแลความสามารถด้านการประมวลผลแบบกระจาย เช่น การแยก prefill และ decode การประมวลผลแบบขนานระดับ tensor และ pipeline รวมถึงการย้าย KV-cache ระหว่างหน่วยความจำ GPU หน่วยความจำโฮสต์ และพื้นที่จัดเก็บที่เชื่อมต่อผ่าน RDMA
- ประเมินรันไทม์ใหม่ วิธีการ quantization การถอดรหัสแบบคาดการณ์ และการให้บริการ mixture-of-experts จากนั้นเสนอเทคโนโลยีที่ควรนำมาใช้
- ช่วยสร้างชั้น orchestration ที่ครอบคลุมการรับโมเดลเข้าระบบ การจัดตารางและแบ่งพาร์ติชัน GPU การกำหนดเส้นทางคำขอโดยคำนึงถึงแคช และการปรับขนาดอัตโนมัติ
- แก้ไขปัญหาของลูกค้าตั้งแต่ต้นจนจบ ระบุสาเหตุรากเหง้า และเสริมความแข็งแกร่งให้ระบบและกระบวนการที่เกี่ยวข้อง
- ตรวจสอบโค้ดและการออกแบบ ให้คำปรึกษาแก่เพื่อนร่วมงาน และเป็นแบบอย่างของแนวปฏิบัติด้านวิศวกรรมที่ดี
คุณสมบัติ
- มีประสบการณ์ด้านวิศวกรรมซอฟต์แวร์อย่างน้อย 8 ปี
- มีประสบการณ์โดยตรงกับรันไทม์อนุมาน LLM หรือการให้บริการโมเดลในระบบ production อย่างน้อยหนึ่งถึงสองปีขึ้นไป
- สำเร็จการศึกษาด้านวิทยาการคอมพิวเตอร์หรือสาขาที่เกี่ยวข้อง
- คุ้นเคยกับเอนจินอนุมาน LLM เช่น vLLM, SGLang, TensorRT-LLM, TGI หรือ NVIDIA NIM รวมถึงมีประสบการณ์แก้ไขส่วนภายในของเอนจิน
- มีความรู้เป็นอย่างดีเกี่ยวกับ continuous batching, paged attention, การนำ KV-cache และ prefix caching กลับมาใช้ใหม่, chunked prefill, quantization และ speculative decoding
- มีความรู้ในการทำงานเกี่ยวกับ tensor parallelism และ pipeline parallelism, การดำเนินการแบบ collective ของ NCCL, ลำดับชั้นหน่วยความจำ GPU และพฤติกรรมของ interconnect
- มีความเชี่ยวชาญขั้นสูงด้านสถาปัตยกรรมแพลตฟอร์ม Kubernetes รวมถึง operator, custom resource, controller และ scheduling
- มีทักษะการเขียนโปรแกรมที่แข็งแกร่งใน Go และ Python
- สามารถอ่าน แก้ไขข้อบกพร่อง และทำ profiling C++ และ CUDA ด้วยเครื่องมืออย่าง Nsight
- คุ้นเคยกับการแก้ไขข้อบกพร่องและทำ profiling ของ workload หลายระดับ รวมถึงแอปพลิเคชัน RAG และ agent
- มีทักษะด้านการวิเคราะห์ การแก้ไขข้อบกพร่อง และการแก้ปัญหาที่ยอดเยี่ยม
- พิจารณาเป็นพิเศษ: มีส่วนร่วมใน vLLM, SGLang, TensorRT-LLM, llm-d, LMCache หรือ KServe
- พิจารณาเป็นพิเศษ: มีประสบการณ์ด้านการให้บริการ prefill และ decode แบบแยกส่วน หรือการย้ายและนำ KV-cache กลับมาใช้ใหม่ในระดับขนาดใหญ่
- พิจารณาเป็นพิเศษ: มีประสบการณ์กับ RDMA, GPUDirect Storage, InfiniBand หรือ RoCE
- พิจารณาเป็นพิเศษ: มีประสบการณ์กับ MIG, การจัดสรร GPU แบบแบ่งส่วน และการแยก GPU สำหรับผู้เช่าหลายราย
- พิจารณาเป็นพิเศษ: มีประสบการณ์ส่งมอบซอฟต์แวร์สำหรับสภาพแวดล้อมองค์กรแบบ on-premises, air-gapped หรืออยู่ภายใต้ข้อกำกับดูแล
สวัสดิการ
- สวัสดิการครอบคลุมเพื่อสนับสนุนสุขภาพกาย ความมั่นคงทางการเงิน และความเป็นอยู่ที่ดีทางอารมณ์
- โครงการสนับสนุนการเติบโตส่วนบุคคลและวิชาชีพ
- ความยืดหยุ่นด้านรูปแบบการทำงานและความต้องการส่วนบุคคล
- วัฒนธรรมสถานที่ทำงานที่เปิดกว้างและให้ทุกคนมีส่วนร่วม
- การอำนวยความสะดวกที่เหมาะสมระหว่างกระบวนการสมัครงานหรือสัมภาษณ์สำหรับผู้สมัครที่มีความพิการและมีคุณสมบัติเหมาะสม