FAR.AI
FAR.AI
FAR.AI 是一家致力于让先进人工智能对所有人都安全且有益的研究与教育非营利组织。其团队研究可信人工智能领域的关键挑战,包括稳健性、欺骗性、可解释性以及前沿系统的评估。FAR.AI 通过技术研究、培训、活动、研讨会、资助以及 FAR.Labs 等项目支持研究人员,并增强整个领域开发安全且符合人类目标的人工智能的能力。该组织还分享研究成果,召集学术界和产业界领袖,并与大学及公共机构合作开展人工智能安全与政策方面的工作。

工程负责人,AI红队

领导 FAR.AI 面向全球前沿 AI 红队项目的工程职能。 建设团队、智能体工具和评估系统,推动 AI 安全与保障发展。

描述

  • 扩大 FAR.AI 红队工程组织及其系统、产品、服务、评估和智能体的规模
  • 创建能够系统调查攻击面的智能体红队系统
  • 发现新近披露的公开越狱方法,并将其自动纳入红队平台
  • 改进攻击者模拟和有害输出评估方法
  • 开发漏洞数据库、统计分析能力和报告基础设施
  • 为与前沿 AI 公司和政府开展的高风险红队项目交付系统
  • 协助制作公开报告、基准测试和排行榜
  • 参与对闭源和开放权重前沿模型的红队测试
  • 开发提升红队效率的智能体工作流
  • 领导、指导并支持工程和红队贡献者
  • 规划冲刺工作并负责工程交付
  • 为快速推进的项目建立可扩展流程
  • 设计招聘流程并招募工程经理及其他团队成员
  • 发现工程限制并落实有效的解决方案
  • 与技术领导层合作推进工程系统、方法、评估和研究
  • 协助制定红队技术和产品战略
  • 将技术概念和研究发现转化为现实世界中的实际影响

任职要求

  • 具备丰富的软件工程、人工智能或计算机工程经验,涵盖网络安全或 MLOps 等领域
  • 拥有建设、发展和领导技术团队的优秀经历,包括从零开始组建初创公司和管理者团队
  • 具备使用编码智能体、Python、LLM API、本地 LLM 框架、评估框架、LLM 智能体、云基础设施和计算集群的实践经验
  • 能够在快速变化的环境中有效工作
  • 坚定致力于推动前沿 AI 系统的使命与影响力
  • 具备清晰沟通技术方案的能力,能够面向技术和非技术受众进行说明
  • 能够持续执行并朝着雄心勃勃的目标推进
  • 具备构建前沿 LLM 或智能体系统,或对其进行红队测试的经验者优先
  • 具备在创业环境中创建技术团队和产品的经验者优先
  • 具备发现复杂系统中隐蔽且严重漏洞的能力者优先
  • 具备对抗性机器学习或安全背景者优先
  • 曾在 AI 实验室、安全团队或政府安全研究机构工作者优先
  • 发表过 AI 安全、保障或鲁棒性方面的研究,或有其他相关成果者优先
  • 愿意在一定程度上配合时区安排
  • 可全职工作,每周 40 小时

福利待遇

  • 报销工作相关的差旅费用
  • 报销设备费用
  • 伯克利办公室提供午餐和晚餐
  • 可为美国或新加坡提供签证赞助
  • 带薪工作试用