醫療人工智慧／機器學習評估審查員
審查 mpathic 監管沙盒評估中醫療人工智慧應用的證據。 評估模型驗證、可靠性、安全措施及臨床使用監測。
說明
- 評估醫療人工智慧應用的技術證據，涵蓋效能、驗證、泛化能力、可靠性、監測和安全措施。
- 審查驗證方法、參考標準、樣本數、統計分析、指標、運作門檻及不確定性。
- 檢視資料品質與代表性，包括資料洩漏、子群差異，以及在不同病患族群和照護情境中的泛化能力。
- 測試技術可靠性、穩健性、可重現性、失效模式，以及對異常或分布外輸入的表現。
- 審查試辦部署的評估計畫、基準和成功標準。
- 評估技術安全措施、升級處理途徑和人工監督流程。
- 審查監測和變更管理計畫，確認其能否偵測效能下降、追蹤模型行為、管理更新和介入措施，並訂定回復標準。
- 與臨床醫師和技術專家合作，處理跨領域問題。
- 依照標準審查架構記錄優勢、限制、證據缺口和技術疑慮。
- 提出清楚且以證據為依據的建議，並說明所需證據或變更。
- 參與審查員校準和品質保證工作。
- 遵循利益衝突和資料處理要求，維持獨立性並履行保密義務。
職位要求
- 至少三年機器學習、資料科學、生物統計、臨床資訊或相關領域的專業工作或應用研究經驗，且曾直接參與預測模型或人工智慧系統的評估或驗證。
- 了解模型評估方法，包括適用的效能指標、驗證設計、統計不確定性、門檻選擇，以及常見偏差來源或方法學錯誤。
- 具備使用獨立資料或保留資料評估模型效能的經驗，並能判斷結果是否可推廣至評估資料集以外。
- 具備評估至少一種相關人工智慧系統的實務經驗，例如臨床自然語言處理、大型語言模型、對話式人工智慧、醫學影像、電腦視覺或表格型預測模型。
- 能批判性審閱技術研究、評估報告或驗證研究，並找出方法學弱點或缺乏支持的結論。
- 具備優良的分析寫作能力，能向非技術背景的對象清楚說明複雜發現。
- 能獨立工作，並參與跨領域專家審查和校準。
- 願意完成保密協議、利益衝突揭露和審查員訓練。
- 具備在醫療、臨床決策支援、數位健康或其他高風險情境中評估人工智慧或機器學習系統的經驗。
- 熟悉臨床人工智慧評估和報告架構，例如 TRIPOD+AI、STARD-AI、CONSORT-AI、DECIDE-AI 或模型卡。
- 具備評估生成式人工智慧、大型語言模型系統或自主代理的經驗，包括多輪行為、可靠性、幻覺和安全措施。
- 具備穩健性測試、對抗式評估、紅隊測試或系統性失效模式分析經驗。
- 了解正式環境監測、分布偏移、模型漂移、版本控制和變更管理。
- 具備設計或評估人在迴路系統，或比較模型效能與人類專家判斷的經驗。
- 熟悉 FDA 關於人工智慧醫療器材、臨床決策支援或醫療器材軟體的指引。
- 具備執行獨立技術審查、科學同儕審查、補助案審查或正式技術評估的經驗。
- 具備與臨床醫師、研究人員或監管利害關係人合作進行人工智慧評估或部署的經驗。
福利待遇
- 合約工作，按每次審查計酬。
- 首次承接任務前提供審查員說明，介紹評估架構和專案要求。
