mpathicは、人間とAIのインタラクションおよび人と人との対話を理解・改善するための、AI安全性および分析ソフトウェアを開発しています。同社のSaaS製品とAPIは、音声テキスト変換、個人を特定できる情報のマスキング、行動分析とチェックリスト分析、ベンチマーク用データセット、レッドチームテスト、そしてObserving Agent APIを通じたドメイン知識に基づくガードレールを提供します。医療、ライフサイエンス、臨床研究、保険、企業の各チームにサービスを提供し、共感性の向上、バイアスの削減、より安全でコンプライアンスに配慮した対話を支援しています。
医療AI・機械学習評価レビュアー
mpathicの規制サンドボックス評価で、医療AIアプリケーションの根拠資料を審査します。 モデルの検証、信頼性、安全策、臨床利用時のモニタリングを評価します。
仕事内容
- 医療AIアプリケーションの技術的根拠を評価し、性能、検証、汎化性、信頼性、モニタリング、安全策を確認します。
- 検証方法、参照基準、サンプル数、統計解析、指標、運用閾値、不確実性を審査します。
- データ品質と代表性を調べ、データ漏洩、サブグループ間の差、患者集団や診療環境をまたぐ汎化性を確認します。
- 技術的な信頼性、頑健性、再現性、故障モード、通常とは異なる入力や分布外入力への挙動を検証します。
- パイロット導入に向けた評価計画、ベンチマーク、成功基準を審査します。
- 技術的な安全策、エスカレーション経路、人による監督プロセスを評価します。
- 性能低下の検出、モデル挙動の追跡、更新や介入の管理、ロールバック基準の設定を含む、モニタリングおよび変更管理計画を審査します。
- 臨床医や技術専門家と協力し、分野横断的な懸念に対応します。
- 標準の審査フレームワークを用いて、強み、限界、根拠の不足、技術的な懸念を記録します。
- 明確で根拠に基づく推奨事項を示し、必要な根拠や変更を明記します。
- レビュアーの評価調整と品質保証に参加します。
- 利益相反およびデータ取り扱いの要件に従い、独立性と機密性を保ちます。
応募要件
- 機械学習、データサイエンス、生物統計学、臨床情報学または関連分野で、3年以上の実務または応用研究経験があり、予測モデルやAIシステムの評価または検証に直接携わった経験があること。
- 適切な性能指標、検証設計、統計的不確実性、閾値の選択、一般的なバイアスの原因や方法論上の誤りなど、モデル評価手法を理解していること。
- 独立データまたはホールドアウトデータでモデル性能を評価した経験があり、評価データセットを超えて結果が一般化するかを判断できること。
- 臨床NLP、大規模言語モデル、対話型AI、医用画像、コンピュータビジョン、表形式データの予測モデルなど、関連するAIシステムを少なくとも1種類評価した実務経験があること。
- 技術研究、評価報告書、検証研究を批判的に読み、方法論上の弱点や根拠のない結論を特定できること。
- 優れた分析・文章作成能力があり、複雑な知見を技術者以外にも明確に説明できること。
- 独立して業務を進め、多分野の専門家による審査や評価調整に貢献できること。
- 機密保持契約、利益相反の申告、レビュアー研修に応じられること。
- 医療、臨床意思決定支援、デジタルヘルス、その他の高リスク分野でAIまたは機械学習システムを評価した経験。
- TRIPOD+AI、STARD-AI、CONSORT-AI、DECIDE-AI、モデルカードなど、臨床AIの評価・報告フレームワークに関する知識。
- 生成AI、大規模言語モデルを用いたシステム、自律エージェントの評価経験。複数ターンの挙動、信頼性、ハルシネーション、安全策を含む。
- 頑健性テスト、敵対的評価、レッドチーム評価、体系的な故障モード分析の経験。
- 本番環境でのモニタリング、分布シフト、モデルドリフト、バージョン管理、変更管理に関する知識。
- 人間参加型システムの設計または評価、あるいはモデル性能と人間の専門家による判断の比較経験。
- AI搭載医療機器、臨床意思決定支援、医療機器ソフトウェアに関するFDAガイダンスの知識。
- 独立した技術審査、科学的な査読、助成金審査、正式な技術評価を実施した経験。
- AIの評価または導入に関して、臨床医、研究者、規制関係者と協働した経験。
福利厚生
- 契約業務。審査1件ごとに報酬を支給します。
- 初回の担当前に、評価フレームワークとプロジェクト要件を説明するレビュアー向けオリエンテーションを実施します。
