编译器前端工程师（大语言模型架构）
扩展编译器对新兴大语言模型架构的支持，涵盖注意力变体、MoE 路由、量化方案和数值格式。 在 Normal Computing 的存内 AI 硬件上，使用模拟器和 FPGA 原型验证模型适配。
描述
- 扩展前端和中端编译器对新兴大语言模型架构的支持。
- 在编译器中实现注意力变体、MoE 路由方案及其他架构。
- 扩展中间表示（IR）、算子和降低过程，准确表达新的架构原语。
- 随着编译器演进持续维护测试覆盖率。
- 表示量化方案和数值格式，同时保持模型精度。
- 关注大语言模型架构的发展，并为未来的编译器支持提出优先级建议。
- 将降低后的程序交由后端编译器工程师进行硬件映射。
- 与大语言模型推理服务工程师合作，将模型从编译器支持推进到服务部署。
- 在硅片可用之前，使用模拟器和 FPGA 原型验证编译器适配。
任职要求
- 具备开发并交付机器学习编译器过程的实践经验。
- 熟悉 PyTorch 内部机制，最好了解 TorchDynamo、FX 和 torch.export。
- 了解现代大语言模型架构，包括注意力机制、MoE 路由和量化方案。
- 能够在新代码库中设计编译器基础设施，并扩展现有基础设施。
- 能够为持续演进的硬件构建软件，覆盖仿真到适配验证阶段。
- 熟练使用 Python。
- 熟悉 C++ 或 Rust。
- 有 IREE、XLA 或 TVM 使用经验者优先。
- 熟悉 JAX 或 ONNX 者优先。
- 有使用张量并行、流水线并行或专家并行在多个设备间切分模型的经验者优先。
- 有软硬件协同设计经验者优先。
- 有面向非标准硬件或存内硬件目标的经验者优先。
- 为开源编译器或机器学习基础设施项目做出贡献者优先。
福利待遇
- 可从事与研究密切相关的工作，并有机会代表 Normal Computing 发表成果。
- 使用模拟器和 FPGA 原型开发硅片流片前的硬件。
- 包容的工作环境，并承诺提供平等就业机会。
- 为残障人士提供合理便利。
