Hewlett Packard Enterprise 为运营混合云和人工智能驱动业务的组织开发企业级技术。其产品组合涵盖 HPE ProLiant 服务器、HPE Cray 高性能计算、HPE Alletra 存储、HPE Aruba 网络、人工智能平台和交钥匙人工智能工厂，以及以服务形式提供的 GreenLake 解决方案。HPE 还提供零信任和安全访问服务边缘（SASE）等安全能力，以及专业服务、咨询服务和支持服务，帮助大型组织实现基础设施现代化、管理数据中心环境，并大规模部署人工智能。
HPE Hybrid 高级推理软件工程师
负责开发 HPE AI Essentials 面向客户自有基础设施的企业级 LLM 推理运行时。 提升 GPU 高效服务、分布式执行和 Kubernetes 编排能力。
描述
- 负责 LLM 服务部署的核心组件，包括引擎集成、连续批处理、KV 缓存管理与复用，以及量化执行。
- 与推理工程团队合作，降低首 token 时间、token 间延迟、GPU 吞吐量延迟以及 P95/P99 尾延迟。
- 开发和运维分布式执行功能，例如解耦式预填充与解码、张量并行和流水线并行，以及跨 GPU 内存、主机内存和 RDMA 连接存储的 KV 缓存卸载。
- 评估新兴运行时、量化方法、推测解码和专家混合模型服务方案，并为技术采用提出建议。
- 协助构建编排层，涵盖模型准入、GPU 调度与分区、缓存感知的请求路由以及自动扩缩容。
- 端到端解决客户问题，确定根本原因，并强化相关系统和流程。
- 审查代码和设计，指导同事，并践行优秀的工程实践。
任职要求
- 至少 8 年软件工程经验。
- 具有 1 至 2 年或更长时间的 LLM 推理运行时或生产级模型服务直接经验。
- 计算机科学或相关专业学位。
- 熟悉 vLLM、SGLang、TensorRT-LLM、TGI 或 NVIDIA NIM 等 LLM 推理引擎，并有修改引擎内部实现的经验。
- 深入了解连续批处理、分页注意力、KV 缓存复用与前缀缓存、分块预填充、量化和推测解码。
- 掌握张量并行和流水线并行、NCCL 集合通信操作、GPU 内存层次结构及互连行为。
- 精通 Kubernetes 平台架构，包括 operator、自定义资源、控制器和调度。
- 具备扎实的 Go 和 Python 编程能力。
- 能够使用 Nsight 等工具阅读、调试和分析 C++ 与 CUDA。
- 熟悉多层工作负载的调试和性能分析，包括 RAG 与智能体应用。
- 出色的分析、调试和问题解决能力。
- 优先条件：为 vLLM、SGLang、TensorRT-LLM、llm-d、LMCache 或 KServe 做出过贡献。
- 优先条件：具有解耦式预填充与解码服务，或大规模 KV 缓存卸载与复用经验。
- 优先条件：具有 RDMA、GPUDirect Storage、InfiniBand 或 RoCE 经验。
- 优先条件：具有 MIG、GPU 分片分配和多租户 GPU 隔离经验。
- 优先条件：具有面向本地部署、隔离网络或受监管企业环境交付软件的经验。
福利待遇
- 全面的福利，支持身体健康、财务保障和情绪健康。
- 支持个人与职业发展的项目。
- 为工作安排和个人需求提供灵活性。
- 包容的工作场所文化。
- 为符合条件的残障申请者在申请或面试过程中提供合理便利。