LLM推理硬件算法研究工程师
为 Normal Computing 的存内 AI 硬件开发 LLM 推理算法。 与硬件和架构团队合作，共同设计数值方法、基准测试和原型。
描述
- 为存内硬件上的 LLM 推理工作负载开发算法。
- 与硬件和架构团队合作，进行软硬件协同设计。
- 开发利用热噪声和模拟动态特性的数值方法。
- 为仿真和物理硬件构建评估框架与基准测试。
- 将对模型工作负载的洞察转化为硬件设计约束和机遇。
- 随着硬件从仿真迈向硅片实现，制作并改进算法原型。
- 从门级和算法层面提升性能。
- 使用模拟器、FPGA 原型，以及在可用时使用硅片测试算法。
任职要求
- 深入了解大型模型推理，包括注意力机制、KV 缓存、长上下文解码和内存带宽限制。
- 具备通过量化、稀疏化、内核融合或节省内存的注意力机制等技术提升推理性能的经验。
- 熟悉随机系统、概率方法、数值分析或模拟计算。
- 具备贴近硬件实现算法的经验，而非仅依赖高级框架。
- 能够从第一性原理出发，分析新型计算基底。
- 能够将理论构想落实为真实硬件实现，并有相关成果。
- 熟练使用 Python，并精通至少一种系统编程语言。
- 能够与硬件、架构和软件团队协作。
- 机器学习、应用数学、物理学、电气工程或相关领域的博士学位为加分项。
- 接触过模拟或混合信号系统、存内计算或非冯·诺依曼架构者优先。
- 有加入时仍在开发中的硬件项目经验者优先。
- 在高效推理、随机算法或新型计算领域发表过论文或参与过开源项目者优先。
福利待遇
- 包容多元的工作环境，并致力于促进多元化。
- 为残障人士提供合理便利。
- 享有平等就业机会保护。
相关职位
未找到职位
尝试调整或清除筛选条件，以查看更多机会。