AI 安全专家——英语和泰卢固语（远程合同）
为 Mercor 对对话式 AI 模型和智能体开展红队评估，通过对抗性测试识别漏洞。围绕英语和泰卢固语性能，创建高质量数据集、攻击案例和清晰报告。
描述
- 针对越狱、提示注入、滥用场景、偏见利用和多轮操纵，测试对话式 AI 模型和智能体
- 通过标注失败案例、分类漏洞和识别系统性风险，创建人工生成的数据
- 使用既定的分类体系、基准测试和操作手册，确保评估一致
- 开发可复现的报告、数据集和对抗性攻击案例
- 评估 AI 针对偏见、错误信息、有害行为及其他敏感主题的回答
- 识别自动化评估方法可能忽略的弱点
- 扩大评估覆盖范围，帮助预防生产环境中的意外问题
- 通过结构化对抗性测试改进客户的 AI 系统
任职要求
- 英语和泰卢固语均达到母语水平
- 评估语言和内容时具备良好的判断力
- 能够判断 AI 回答是否准确、完整且恰当，并解释判断依据
- 对细微错误、不一致和遗漏具有极强的关注力
- 始终遵守指导方针和质量标准
- 能够向技术和非技术受众清晰表达判断依据
- 能够灵活参与不同项目、任务形式和客户的工作
- 能够以独立承包商身份工作
- 不得需要 H-1B 或 STEM OPT 赞助
- 具有对抗性机器学习、网络安全、社会技术风险或创造性探测经验者优先
福利待遇
- 完全远程工作
- 选择符合个人时间安排的灵活工作时间
- 通过 Stripe 或 Wise 按周收款
- 项目期限可能根据业务需求和工作表现发生变化或提前结束
- 可获得健康资源，以及针对高敏感度任务的明确指导
- 积累以人工数据为驱动的 AI 红队测试经验
- 帮助打造更稳健、安全和值得信赖的 AI 系统
- 获得具有竞争力的报酬
- 与领先研究人员合作
- 如有需要，可申请合理便利