高级人工智能研究员，基础模型预训练 — Aleph Alpha，海德堡
负责 Aleph Alpha 欧洲基础模型的架构设计与大规模预训练，制定适用于数千块 GPU 的训练方法。 与海德堡的混合办公团队协作，构建并改进 PyTorch 训练方案。
描述
- 为 Aleph Alpha 下一代基础模型开发架构和训练方法。
- 负责核心训练方案组件，包括优化器、学习率计划和参数初始化。
- 改进 PyTorch 架构，以提升收敛性、稳定性和训练效率。
- 建立超参数缩放规律及扩展训练任务的方法。
- 开展小规模代理实验，预测模型在数千块 GPU 上的表现并降低训练风险。
- 诊断收敛问题，包括损失突增和训练发散。
- 排查分布式训练故障，例如通信瓶颈、竞态条件和同步错误。
- 与计算性能、数据、评估和后训练团队合作，共同设计系统与模型。
- 将数学分析和实验结果转化为可靠的训练决策。
- 交付可用于生产环境的高质量代码，提升模型质量、运行可靠性和效率。
任职要求
- 熟练使用 Python，并深入了解 PyTorch 训练工作流。
- 在机器学习研究和软件工程方面有可靠业绩，例如已发布的模型、有影响力的开源项目或发表的研究成果。
- 具备扎实的数学基础，能够形式化分析优化、缩放行为和训练动态。
- 深入了解 Transformer 训练动态、优化方法和大规模分布式训练任务。
- 能够设计严谨的实验，并依据实验结果制定稳健的训练决策。
- 具备大型模型预训练实践经验，例如在大型基础设施上训练参数量达 70 亿或以上的模型；大型基础设施例如由 100 块或更多 GPU 组成的集群。
- 遵循良好的软件工程实践，包括编写易维护、经过充分测试的代码，以及可复现实验。
- 能够高效、可靠地实现复杂架构，并调试模型代码、训练行为和分布式系统。
- 沟通清晰，善于跨团队协作。
- 符合在德国工作的资格，并能定期到海德堡现场协作。
- 优先条件：有在大型 GPU 集群上使用 Megatron-LM、DeepSpeed 或 torchtitan 等分布式框架训练大型语言模型或多模态模型的经验。
- 优先条件：熟悉缩放规律、超参数迁移，或根据代理运行预测大规模训练行为。
- 优先条件：有分布式任务性能分析和训练异常诊断经验。
- 优先条件：接触过专家混合等稀疏训练方法。
- 优先条件：有顶级学术会议或期刊论文、有影响力的开源贡献，或重要的已交付技术成果。
福利待遇
- 30 天带薪年假。
- 可通过 Wellhub 使用健身和健康服务。
- 通过 nilo.health 提供心理健康支持。
- 公司养老金计划提供大幅补贴。
- 德国全国交通票提供补贴。
- 提供额外技术设备预算。
- 工作时间灵活。
- 混合办公安排。
- 提供 JobRad® 自行车租赁。