AI安全专家——英语和旁遮普语
面向英语和旁遮普语流利的AI安全专家的远程合同职位，支持Mercor的对话式AI红队测试项目。测试越狱、提示注入、有害内容风险和模型漏洞，并记录可复现的发现。
描述
- 使用越狱、提示注入、滥用场景、偏见利用和多轮操纵，对对话式AI模型和智能体进行对抗性测试
- 通过标注失败案例、分类漏洞和识别系统性风险，创建人工生成的数据
- 应用既定的分类体系、基准和操作手册，保持评估的一致性
- 为客户准备可复现的报告、数据集和攻击案例
- 评估AI输出中的偏见、错误信息、有害行为及其他敏感内容风险
- 识别自动化评估可能忽略的弱点
- 扩大评估覆盖范围，帮助减少生产环境中的意外问题
- 通过结构化的对抗性测试改进客户的AI系统
任职要求
- 英语和旁遮普语均达到母语流利程度
- 在评估语言和内容时具备良好的判断力
- 能够判断AI回复是否准确、完整且恰当，并解释评估依据
- 高度关注细微错误、不一致之处和遗漏
- 持续遵守指南和质量标准
- 能够向技术和非技术受众清晰传达推理过程
- 能够适应不同项目、任务形式和客户
- 具备独立承包商身份
- 不得是H-1B或STEM OPT候选人
- 优先考虑：具备对抗性机器学习经验，包括越狱数据集、提示注入、RLHF/DPO攻击或模型提取
- 优先考虑：具备网络安全经验，包括渗透测试、漏洞利用开发或逆向工程
- 优先考虑：具备社会技术风险经验，包括骚扰或虚假信息探测、滥用分析或对话式AI测试
- 优先考虑：具备心理学、表演或写作经验，能够支持非常规的对抗性思维
福利待遇
- 完全远程工作
- 工作时间灵活，可自行安排工作时间
- 通过Stripe或Wise按周付款
- 项目可能因业务需求和工作表现而延长、缩短或提前结束
- 可选择参与较高敏感度的项目
- 提供内容指南和健康资源
- 具有竞争力的薪酬
- 可应要求提供合理便利
- 每次成功推荐最高可获得90美元的推荐奖励，但须遵守推荐次数限制