mpathic은 인간과 AI의 상호작용 및 사람 간 상호작용을 이해하고 개선하기 위한 AI 안전성과 분석 소프트웨어를 개발합니다. 회사의 SaaS 제품과 API는 음성-텍스트 변환, 개인 식별 정보 비식별화, 행동 및 체크리스트 분석, 벤치마킹 데이터셋, 레드팀 테스트, 그리고 Observing Agent API를 통한 도메인 지식 기반 가드레일을 지원합니다. mpathic은 의료, 생명과학, 임상 연구, 보험 및 기업 팀을 대상으로 공감 능력 향상, 편향 감소, 더 안전하고 규정을 준수하는 상호작용을 지원합니다.
의료 AI·머신러닝 평가 검토자
mpathic 규제 샌드박스 평가에서 의료 AI 애플리케이션의 근거 자료를 검토합니다. 임상 사용을 위한 모델 검증, 신뢰성, 안전장치 및 모니터링을 평가합니다.
설명
- 의료 AI 애플리케이션의 기술적 근거를 평가하고 성능, 검증, 일반화 가능성, 신뢰성, 모니터링 및 안전장치를 살펴봅니다.
- 검증 방법, 참조 기준, 표본 크기, 통계 분석, 지표, 운영 임계값 및 불확실성을 검토합니다.
- 데이터 품질과 대표성을 살펴보고, 데이터 누출, 하위 집단 간 차이, 환자 집단 및 진료 환경 전반의 일반화 가능성을 확인합니다.
- 기술적 신뢰성, 견고성, 재현성, 고장 유형, 비정형 또는 분포 외 입력에 대한 동작을 시험합니다.
- 파일럿 배포를 위한 평가 계획, 벤치마크 및 성공 기준을 검토합니다.
- 기술적 안전장치, 에스컬레이션 경로 및 사람의 감독 절차를 평가합니다.
- 성능 저하 감지, 모델 동작 추적, 업데이트 및 개입 관리, 롤백 기준 설정을 위한 모니터링 및 변경 관리 계획을 검토합니다.
- 임상의 및 기술 전문가와 협력해 여러 분야에 걸친 우려 사항을 다룹니다.
- 표준 검토 프레임워크에 따라 강점, 한계, 근거 공백 및 기술적 우려 사항을 기록합니다.
- 명확하고 근거에 기반한 권고 사항을 제시하고 필요한 근거 또는 변경 사항을 구체적으로 밝힙니다.
- 검토자 간 평가 조정 및 품질 보증에 참여합니다.
- 이해 상충 및 데이터 처리 요건을 준수하며 독립성과 기밀성을 유지합니다.
지원 자격
- 머신러닝, 데이터 과학, 생물통계학, 임상정보학 또는 관련 분야에서 3년 이상의 전문 업무 또는 응용 연구 경력이 있고, 예측 모델이나 AI 시스템 평가 또는 검증에 직접 참여한 경험이 있어야 합니다.
- 적절한 성능 지표, 검증 설계, 통계적 불확실성, 임계값 선정, 일반적인 편향 원인 또는 방법론적 오류를 포함한 모델 평가 방법을 이해해야 합니다.
- 독립 데이터 또는 홀드아웃 데이터를 사용해 모델 성능을 평가한 경험이 있고, 평가 데이터셋을 넘어 결과가 일반화되는지 판단할 수 있어야 합니다.
- 임상 NLP, 대규모 언어 모델, 대화형 AI, 의료 영상, 컴퓨터 비전 또는 표 형식 예측 모델 등 관련 AI 시스템 유형 중 하나 이상을 평가한 실무 경험이 있어야 합니다.
- 기술 연구, 평가 보고서 또는 검증 연구를 비판적으로 검토하고 방법론적 약점이나 근거가 부족한 결론을 찾아낼 수 있어야 합니다.
- 분석적 글쓰기 능력이 뛰어나고 복잡한 결과를 비기술직 대상에게 명확하게 설명할 수 있어야 합니다.
- 독립적으로 업무를 수행하고 다학제 전문가 검토 및 평가 조정에 기여할 수 있어야 합니다.
- 기밀 유지 계약, 이해 상충 신고 및 검토자 교육을 이수할 의향이 있어야 합니다.
- 의료, 임상 의사결정 지원, 디지털 헬스 또는 기타 고위험 환경에서 AI 또는 ML 시스템을 평가한 경험.
- TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI 또는 모델 카드와 같은 임상 AI 평가 및 보고 프레임워크에 대한 이해.
- 생성형 AI, LLM 기반 시스템 또는 자율 에이전트를 평가한 경험. 다중 턴 동작, 신뢰성, 환각 및 안전장치 평가를 포함합니다.
- 견고성 테스트, 적대적 평가, 레드팀 테스트 또는 체계적인 고장 유형 분석 경험.
- 운영 환경 모니터링, 분포 변화, 모델 드리프트, 버전 관리 및 변경 관리에 대한 지식.
- 사람이 개입하는 시스템을 설계 또는 평가하거나 모델 성능과 인간 전문가의 판단을 비교한 경험.
- AI 기반 의료기기, 임상 의사결정 지원 또는 의료기기 소프트웨어에 관한 FDA 지침에 대한 이해.
- 독립 기술 검토, 과학 동료 심사, 연구비 심사 또는 공식 기술 평가 수행 경험.
- AI 평가 또는 배포와 관련해 임상의, 연구자 또는 규제 기관 관계자와 협업한 경험.
복리후생
- 계약 업무이며 검토 건별로 보수를 지급합니다.
- 첫 과제를 맡기 전에 평가 프레임워크와 프로젝트 요건을 안내하는 검토자 오리엔테이션을 제공합니다.
