模型测试与测量工程师——美国远程
Defcon AI 正在寻找一名模型测试与测量工程师，独立验证 AI 系统。该职位涵盖真实数据集构建、模型审计、工作流测量，以及为负责任的发布决策提供证据。
描述
- 构建用于模型评估的带标签真实数据集
- 规划并开展抽样审计
- 按模型版本对发布进行把关，同时维护版本清单、评估记录和回滚触发条件
- 审查模型漂移和人工覆盖活动
- 围绕人工监督、公平性和差异化影响建立证据
- 与模型构建团队保持独立，在不构建模型、不设定阈值且不依据评估证据批准发布的前提下，提供评估证据
- 通过审查时间、吞吐量、积压变化、覆盖率和返工率衡量工作流改进
- 建立评估阶段的质量控制，涵盖样本选择、审查单元，以及不同方法或检索来源之间的公平比较
- 明确其他团队必须记录的测量事件，并验证审查工作区从首次使用开始就记录工作流事件
- 与数据科学家、AI 工程师和技术领导层协作
- 通过独立评估支持发布决策、改进计划和客户评估
任职要求
- 至少 5 年将模型验证作为明确职责的工作经验
- 具备构建真实数据集和设计抽样方法的实践经验
- 精通 Python 和 SQL
- 能够独立于所评估模型所属团队开展工作
- 要求具备美国公民身份
- 持有有效的美国秘密级安全许可
- 愿意满足部分工作所需的更高级别人员安全要求，具体将在筛选过程中讨论
- 具备受监管行业或政府模型风险领域背景
- 具备公平性和差异化影响测试经验，并能记录人工监督情况
- 熟悉 NIST AI 风险管理框架或类似实践
- 持有有效的绝密级安全许可
福利待遇
- 具有竞争力的薪资、奖金和股权
- 完全远程、以结果为导向的工作环境
- 雇主为你及家人支付医疗、牙科和视力保险
- 经经理批准的无限带薪休假
- 灵活安排工作时间，自主掌控工作日
- 14 周全额带薪育儿假
- 根据需要偶尔前往 DEFCON AI 总部、客户所在地和合作伙伴设施出差