高级人工智能研究员——以色列混合办公
负责开放权重人工智能模型的强化学习评估、红队测试和安全审计。为 ActiveFence 的人工智能可信、安全与安保工作构建基准测试和后训练流程。
描述
- 负责开放权重模型的后训练评估、红队测试以及强化学习环境审计
- 设计严格的基准测试方法
- 评估大型语言模型应对复杂威胁的能力，包括间接提示注入攻击
- 构建后训练评估流程，用于衡量符合现实情况的前沿级安全能力
- 在以安全为重点的强化学习环境中，使用开放权重通用模型开展 GRPO 等后训练实验
- 检查实时损失曲线和 rollout 轨迹，以发现奖励破解、策略懒惰收敛以及规范定义不完善的验证器
- 评估涉及工具使用、网页导航和计算机使用的任务及多轮环境，考察其真实性、威胁模型准确性、数据分布和数据集平衡性
- 制作评估卡，涵盖检查点性能提升、失败模式、rollout 的 token 数和轮次，以及任务级成功率
- 将包括 Harbor 格式环境在内的容器化 Docker 环境集成到内部训练框架中
- 改进重置和状态保持语义、并发能力及吞吐量限制
任职要求
- 数据科学、机器学习、计算机科学硕士或博士学位，或具备同等的深度学习实践经验
- 具备使用 GRPO 或 PPO 等强化学习算法，在开放权重架构上训练大规模模型的实践经验
- 深入了解大型语言模型漏洞、红队测试实践，以及针对间接提示注入攻击的防御性对齐
- 熟练使用 PyTorch、Docker 容器化和分布式训练架构
- 能够解读智能体 rollout 轨迹、创建确定性评分标准和验证器，并调试复杂的奖励塑形问题
- 具备 Harbor 等标准强化学习环境格式的经验者优先
- 具备评估工具使用或网页浏览环境中复杂智能体工作流的经验者优先
- 熟悉针对对抗性工作负载评估类似 Llama 或 Mistral 的开放权重模型者优先