Hewlett Packard Enterprise 為營運混合雲端與人工智慧驅動業務的組織開發企業級技術。其產品組合涵蓋 HPE ProLiant 伺服器、HPE Cray 高效能運算、HPE Alletra 儲存、HPE Aruba 網路、人工智慧平台與一站式人工智慧工廠，以及以服務形式提供的 GreenLake 解決方案。HPE 也提供零信任與安全存取服務邊緣（SASE）等安全能力，以及專業服務、顧問服務與支援服務，協助大型組織實現基礎架構現代化、管理資料中心環境，並大規模部署人工智慧。
HPE Hybrid 資深推論軟體工程師
負責開發 HPE AI Essentials 面向客戶自有基礎架構的企業級 LLM 推論執行環境。 提升 GPU 高效服務、分散式執行與 Kubernetes 編排能力。
說明
- 負責 LLM 服務部署的核心元件，包括引擎整合、連續批次處理、KV 快取管理與重複使用，以及量化執行。
- 與推論工程團隊合作，降低首個 token 時間、token 間延遲、GPU 吞吐量延遲，以及 P95/P99 尾端延遲。
- 開發與運作分散式執行功能，例如解耦式預填充與解碼、張量平行與管線平行，以及跨 GPU 記憶體、主機記憶體和 RDMA 連接儲存裝置的 KV 快取卸載。
- 評估新興執行環境、量化方法、推測解碼和混合專家模型服務方案，並為技術採用提出建議。
- 協助建立編排層，涵蓋模型准入、GPU 排程與分割、快取感知請求路由，以及自動擴縮。
- 端到端解決客戶問題，找出根本原因，並強化相關系統與流程。
- 審查程式碼與設計、指導同事，並展現優良的工程實務。
職位要求
- 至少 8 年軟體工程經驗。
- 具備 1 至 2 年或更長時間的 LLM 推論執行環境或生產級模型服務直接經驗。
- 具備電腦科學或相關學科學位。
- 熟悉 vLLM、SGLang、TensorRT-LLM、TGI 或 NVIDIA NIM 等 LLM 推論引擎，並具有修改引擎內部實作的經驗。
- 深入了解連續批次處理、分頁注意力、KV 快取重複使用與前綴快取、分塊預填充、量化和推測解碼。
- 具備張量平行與管線平行、NCCL 集合通訊操作、GPU 記憶體階層及互連行為的實務知識。
- 精通 Kubernetes 平台架構，包括 operator、自訂資源、控制器和排程。
- 具備扎實的 Go 與 Python 程式設計能力。
- 能使用 Nsight 等工具閱讀、除錯和分析 C++ 與 CUDA。
- 熟悉多層工作負載的除錯與效能分析，包括 RAG 和代理程式應用程式。
- 具備優異的分析、除錯和問題解決能力。
- 優先條件：曾為 vLLM、SGLang、TensorRT-LLM、llm-d、LMCache 或 KServe 做出貢獻。
- 優先條件：具備解耦式預填充與解碼服務，或大規模 KV 快取卸載與重複使用經驗。
- 優先條件：具備 RDMA、GPUDirect Storage、InfiniBand 或 RoCE 經驗。
- 優先條件：具備 MIG、GPU 分數配置和多租戶 GPU 隔離經驗。
- 優先條件：具備為地端部署、氣隙環境或受監管企業環境交付軟體的經驗。
福利待遇
- 支援身體健康、財務保障與情緒健康的完善福利。
- 支援個人與職涯成長的計畫。
- 為工作安排與個人需求提供彈性。
- 包容的職場文化。
- 在申請或面試過程中，為符合資格的身心障礙申請者提供合理便利。