AI 硬件运行时工程师
为 Normal Computing 的存储器中心型 AI 硬件设计运行时软件。 负责架构、硬件抽象和大语言模型推理性能。
描述
- 主导设备管理、内存分配、主机与设备间传输、可执行文件加载及命令提交等方面的运行时架构。
- 在芯片尚未提供之前，通过一致的接口为模拟器和 FPGA 原型开发运行时。
- 抽象模拟器、FPGA 原型、硅芯片及未来各代硬件之间的差异。
- 管理存储在硬件上的设备状态，包括请求之间常驻的模型权重。
- 降低大语言模型推理关键路径上的运行时开销，改善端到端延迟和吞吐量。
- 定义与编译器、驱动程序和固件组件的接口。
- 指导运行时的技术方向，并审查依赖该运行时的设计。
- 与编译器和服务工程师合作，设计有效的接口。
任职要求
- 具备为加速器或其他专用硬件开发运行时、驱动程序或硬件抽象层的经验。
- 具备扎实的 C++ 或 Rust 系统编程能力，包括内存管理、并发和底层性能优化。
- 曾负责复杂系统组件从设计到生产落地的全过程。
- 具备跨团队主导技术决策的经验。
- 了解大语言模型推理工作负载及其运行时需求。
- 能够为持续变化的硬件开发软件，涵盖仿真到硬件 bring-up 阶段。
- 加分项：熟悉 IREE HAL 等开放运行时设计，或了解 CUDA、ROCm 运行时内部机制。
- 加分项：具备存内计算或其他非冯·诺依曼硬件的经验。
- 加分项：具备将运行时集成到 vLLM 等推理服务器的经验。
- 加分项：曾为开源运行时或系统基础设施作出贡献。
福利待遇
- 股权。
- 基于绩效的激励。
- 全面的薪酬方案。
- 旨在支持员工身心健康和职业发展的福利。
- 具有竞争力且公平的薪酬。
- 为残障员工提供合理便利。
