机器学习算法映射与性能工程师,核心机器学习
将机器学习训练与推理算法映射到 Cerebras AI 芯片架构。 建模性能瓶颈、基准测试系统,并为软硬件协同设计提供依据。
描述
- 构建先进机器学习训练与推理算法的分析型和实证型性能模型
- 评估不同模型规模、序列长度、批量大小、并行度和硬件规模下的渐近行为与算法权衡
- 构建涵盖模型质量、延迟、吞吐量、内存占用、通信和计算成本的帕累托前沿
- 为 Cerebras WSE 创建原型实现和基准测试,并与相关 GPU 及软件基线进行对比
- 研究系统行为,定位内核、编译器、运行时、通信和算法瓶颈
- 评估并行令牌生成、扩散模型与推测解码、注意力机制、稀疏性、混合专家、低精度计算和分布式训练等新兴方法
- 与研究、内核、编译器、运行时、推理和架构团队合作,确定实现与协同设计重点
- 创建用于预测性能、分析测量结果和比较设计权衡的工具与可视化方案
- 通过技术报告、演示和设计评审,呈现结论、假设、局限性和建议
- 制定核心机器学习研究重点、实现方案以及未来软硬件能力的发展方向
任职要求
- 具备计算机科学、计算机工程、电子工程、数学或相关专业的学士、硕士、博士学位,或同等实践经验
- 深入了解计算机体系结构、并行计算和系统性能
- 扎实掌握机器学习基础和机器学习系统
- 具备分析型性能建模、算法复杂度分析、基准测试或系统仿真经验
- 展现出优秀的分析推理和问题解决能力
- 熟练使用 Python,并具备 C++ 工作知识
- 具备在机器学习、高性能计算、CPU、GPU 或基于加速器的系统中进行性能分析和调试的经验
- 能够将数学分析、实验验证和实际工程建议结合起来
- 优先考虑:具备屋顶线分析、CPU 或 GPU 模拟器、内核优化或软硬件协同设计经验
- 优先考虑:熟悉 CUDA、Triton、PyTorch、JAX 或开源大语言模型训练与推理系统
- 优先考虑:了解 Transformer 内部机制、注意力变体、KV 缓存策略、模型并行、稀疏性、量化和并行生成
- 优先考虑:在机器学习系统、计算机体系结构或计算效率领域拥有研究论文、专利或重要开源贡献
- 优先考虑:具备评估未来硬件或软件架构技术选择的经验
福利待遇
- 有机会发表并开源先进人工智能研究成果
- 与全球速度最快的人工智能超级计算机之一合作
- 兼具创业活力与工作稳定性
- 坦诚直接、非企业化的文化,尊重个人信念
- 持续提供学习、发展和支持机会
- 致力于打造平等且多元的工作环境
