人工智能辅助解决方案总监
领导人工智能工具和工作流程的应用，扩大 College Board 的评估内容开发规模。 负责 SAT、AP 及其他项目中的题目生成、评估、培训和推广，职位为美国境内全远程岗位。
描述
- 负责所分配 College Board 评估项目合作的端到端交付
- 定义问题和需求，设计并构建人工智能工具、提示词和工作流程
- 交付由培训和推广计划支持的可用解决方案
- 评估人工智能生成内容是否存在构念不匹配、推理错误、偏见和事实错误
- 为交付给合作团队的工具提供最终质量审批
- 建立质量标准和评估方法，包括评分量规、基准和评分框架
- 确定基于系统的解决方案所需的要求，识别需要更多利益相关者参与和资源支持的部分
- 诊断限制规模化发展的文化、人员配置、流程和技术缺口
- 制定人工智能赋能题目开发的合作重点和项目路线图
- 定义智能体工作流程的标准和输入
- 参与企业级智能体—人工协同架构、战略和路线图的建设
- 代表所支持的项目参与跨项目工具和方法讨论
- 设计并开展人工智能辅助及智能体工作流程培训
- 创建支持负责任工具推广的流程文档
- 建立并记录影响力衡量指标
- 维护 College Board 的评估设计和开发标准
- 测试新兴人工智能工具、模型和技术
- 与团队及内部实践社区分享研究结果
- 作为 College Board 代表参加相关外部会议和行业会议
任职要求
- 至少七年跨多种题型开发标准化评估题目的经验
- 精通命题实践和构念对齐
- 在阅读理解、写作、数学或科学评估方面具备深厚的学科专业知识
- 至少三年人工智能辅助或智能体方法的实际经验，包括 AIG、RAG、提示词工程和上下文工程
- 成功通过推广和可衡量影响推动流程或技术改进
- 了解大型语言模型、幻觉、上下文窗口限制和过时训练数据
- 具备智能体和多智能体工作流程、工具调用以及链式或编排式提示词经验
- 具备氛围编程、编程或快速原型开发经验
- 能够独立创建可用脚本、工具或交互式原型
- 具备流程设计、他人培训以及推动工具、流程和系统采用的经验
- 能够衔接技术和非技术讨论
- 具备跨职能协作的成功经验
- 具备出色的组织和规划能力
- 具备实施流程、管理项目计划和进度以及维护跟踪文档的经验
- 具备题目和测试开发生命周期、数字化编写与审核工具以及内容管理或题库系统经验
- 能够适应快节奏环境中的模糊性
- 愿意每年出差六至八次
- 获准在美国工作
- 有兴趣通过使命驱动的工作拓展教育和职业机会
- 对测试新兴技术和人工智能驱动解决方案充满好奇并愿意尝试
- 具备清晰、简洁的书面和口头沟通能力
- 具备学习者心态并致力于持续成长
- 具有强烈的影响力意识和追求卓越的动力
- 具备协作且富有同理心的工作方式
- 强烈偏好拥有硕士学位或同等教育及经验
福利待遇
- 有意义的职业发展机会
- 支持性的团队环境
- 旨在支持员工身心健康与成功的全面福利方案
- 公平且具有竞争力的薪酬
- 薪资根据工作地点调整
- 以市场数据为基础的透明报价
- 可选择全远程工作
- College Board 办公室附近的候选人可选择混合办公，每周二和周三到办公室办公
- 参加相关外部专业会议和行业会议的出差机会
