医疗健康人工智能/机器学习评估审查员
审查 mpathic 监管沙盒评估中医疗健康人工智能应用的证据。 评估模型验证、可靠性、安全措施及临床使用监测。
描述
- 评估医疗健康人工智能应用的技术证据，涵盖性能、验证、泛化能力、可靠性、监测和安全措施。
- 审查验证方法、参考标准、样本量、统计分析、指标、运行阈值及不确定性。
- 检查数据质量与代表性，包括数据泄漏、亚组差异，以及在不同患者群体和医疗场景中的泛化能力。
- 测试技术可靠性、稳健性、可复现性、失效模式，以及对异常或分布外输入的表现。
- 审查试点部署的评估计划、基准和成功标准。
- 评估技术安全措施、升级处理路径和人工监督流程。
- 审查监测和变更管理计划，确认其能否发现性能下降、跟踪模型行为、管理更新和干预措施，并设定回滚标准。
- 与临床医生和技术专家合作，处理跨学科问题。
- 按照标准审查框架记录优势、局限、证据缺口和技术问题。
- 提出清晰且以证据为依据的建议，并说明所需证据或变更。
- 参与审查员校准和质量保证工作。
- 遵守利益冲突和数据处理要求，保持独立性并履行保密义务。
任职要求
- 至少三年机器学习、数据科学、生物统计学、临床信息学或相关领域的专业工作或应用研究经验，且曾直接参与预测模型或人工智能系统的评估或验证。
- 了解模型评估方法，包括适用的性能指标、验证设计、统计不确定性、阈值选择，以及常见偏差来源或方法学错误。
- 具有使用独立数据或留出数据评估模型性能的经验，并能判断结果是否可推广至评估数据集之外。
- 具有评估至少一种相关人工智能系统的实践经验，例如临床自然语言处理、大型语言模型、对话式人工智能、医学影像、计算机视觉或表格型预测模型。
- 能够批判性审阅技术研究、评估报告或验证研究，并识别方法学缺陷或缺乏依据的结论。
- 具备出色的分析写作能力，能够向非技术受众清晰解释复杂发现。
- 能够独立工作，并参与多学科专家审查和校准。
- 愿意完成保密协议、利益冲突披露和审查员培训。
- 具有在医疗健康、临床决策支持、数字健康或其他高风险场景中评估人工智能或机器学习系统的经验。
- 熟悉临床人工智能评估和报告框架，例如 TRIPOD+AI、STARD-AI、CONSORT-AI、DECIDE-AI 或模型卡。
- 具有评估生成式人工智能、基于大型语言模型的系统或自主代理的经验，包括多轮行为、可靠性、幻觉和安全措施。
- 具有稳健性测试、对抗性评估、红队测试或系统性失效模式分析经验。
- 了解生产环境监测、分布偏移、模型漂移、版本控制和变更管理。
- 具有设计或评估人在回路系统，或将模型表现与人类专家判断进行比较的经验。
- 熟悉 FDA 关于人工智能医疗器械、临床决策支持或医疗器械软件的指导文件。
- 具有开展独立技术审查、科学同行评审、资助项目评审或正式技术评估的经验。
- 具有与临床医生、研究人员或监管相关方合作开展人工智能评估或部署的经验。
福利待遇
- 合同工作，按每次审查付费。
- 首次接受任务前提供审查员入职说明，介绍评估框架和项目要求。
