LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Employés
Alimentation et boissonsConseilSoins de santé
mpathic développe des logiciels de sécurité et d’analyse de l’IA destinés à comprendre et à améliorer les interactions entre les personnes et les systèmes d’IA, ainsi qu’entre les personnes. Ses produits SaaS et ses API permettent la transcription de la parole en texte, la suppression des informations personnelles identifiables, l’analyse des comportements et des listes de contrôle, la création de jeux de données de référence, le red teaming et la mise en place de garde-fous adaptés au domaine grâce à son API Observing Agent. L’entreprise accompagne des équipes des secteurs de la santé, des sciences de la vie, de la recherche clinique, de l’assurance et des entreprises qui cherchent à renforcer l’empathie, à réduire les biais et à favoriser des interactions plus sûres et conformes.
LinkedIn
Offres de l’entreprise

Évaluateur·rice de l’IA/ML en santé

Examinez les éléments probants relatifs aux applications d’IA en santé dans le cadre des évaluations du bac à sable réglementaire de mpathic. Évaluez la validation, la fiabilité, les garde-fous et le suivi des modèles destinés à un usage clinique.

USÉtats-UnisÀ distanceContratIntermédiaireSeniorLangue Requise : anglaisIntelligence artificielle

Description

  • Évaluer les éléments probants techniques relatifs aux applications d’IA en santé, notamment les performances, la validation, la généralisation, la fiabilité, le suivi et les garde-fous.
  • Examiner les méthodes de validation, les normes de référence, les tailles d’échantillon, les analyses statistiques, les métriques, les seuils opérationnels et les incertitudes.
  • Examiner la qualité et la représentativité des données, notamment les fuites de données, les différences entre sous-groupes et la généralisation à différents groupes de patients et contextes de soins.
  • Évaluer la fiabilité technique, la robustesse, la reproductibilité, les modes de défaillance et le comportement face à des entrées atypiques ou hors distribution.
  • Examiner les plans d’évaluation, les référentiels comparatifs et les critères de réussite des déploiements pilotes.
  • Évaluer les garde-fous techniques, les procédures d’escalade et les processus de supervision humaine.
  • Examiner les plans de suivi et de gestion des changements visant à détecter une baisse des performances, à suivre le comportement du modèle, à gérer les mises à jour et les interventions et à définir des critères de retour en arrière.
  • Collaborer avec des professionnels de santé et des spécialistes techniques pour traiter les questions interdisciplinaires.
  • Consigner les points forts, les limites, les lacunes des éléments probants et les préoccupations techniques à l’aide du cadre d’évaluation standard.
  • Formuler des recommandations claires et fondées sur des éléments probants, et préciser les éléments ou changements nécessaires.
  • Participer à l’harmonisation des évaluations et à l’assurance qualité.
  • Préserver l’indépendance et la confidentialité, conformément aux exigences relatives aux conflits d’intérêts et au traitement des données.

Exigences

  • Au moins trois ans d’expérience professionnelle ou de recherche appliquée en apprentissage automatique, science des données, biostatistique, informatique clinique ou dans un domaine connexe, avec une expérience directe de l’évaluation ou de la validation de modèles prédictifs ou de systèmes d’IA.
  • Compréhension des méthodes d’évaluation des modèles, notamment des métriques de performance adaptées, du plan de validation, de l’incertitude statistique, du choix des seuils et des sources courantes de biais ou d’erreur méthodologique.
  • Expérience dans l’évaluation des performances de modèles sur des données indépendantes ou mises de côté, et dans l’appréciation de la généralisation des résultats au-delà du jeu de données d’évaluation.
  • Expérience pratique de l’évaluation d’au moins un type pertinent de système d’IA, comme le traitement automatique du langage naturel clinique, les grands modèles de langage, l’IA conversationnelle, l’imagerie médicale, la vision par ordinateur ou les modèles prédictifs tabulaires.
  • Capacité à examiner de manière critique des travaux de recherche technique, des rapports d’évaluation ou des études de validation et à repérer les faiblesses méthodologiques ou les conclusions insuffisamment étayées.
  • Solides compétences en rédaction analytique et capacité à expliquer clairement des résultats complexes à des publics non techniques.
  • Capacité à travailler de manière autonome et à contribuer à des évaluations et à des séances d’harmonisation réunissant des spécialistes de plusieurs disciplines.
  • Volonté de signer des accords de confidentialité, de déclarer les conflits d’intérêts et de suivre la formation des évaluateurs.
  • Expérience de l’évaluation de systèmes d’IA ou d’apprentissage automatique dans le domaine de la santé, de l’aide à la décision clinique, de la santé numérique ou d’un autre contexte à forts enjeux.
  • Connaissance de cadres d’évaluation et de compte rendu de l’IA clinique tels que TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI ou les fiches de modèle.
  • Expérience de l’évaluation de l’IA générative, de systèmes fondés sur de grands modèles de langage ou d’agents autonomes, notamment de leur comportement sur plusieurs tours, de leur fiabilité, des hallucinations et des garde-fous.
  • Expérience des tests de robustesse, de l’évaluation adversariale, du red teaming ou de l’analyse systématique des modes de défaillance.
  • Connaissance du suivi en production, des changements de distribution, de la dérive des modèles, du contrôle des versions et de la gestion des changements.
  • Expérience de la conception ou de l’évaluation de systèmes avec intervention humaine, ou de la comparaison des performances d’un modèle avec le jugement d’experts humains.
  • Connaissance des recommandations de la FDA concernant les dispositifs médicaux intégrant de l’IA, l’aide à la décision clinique ou les logiciels dispositifs médicaux.
  • Expérience d’évaluations techniques indépendantes, d’évaluations scientifiques par les pairs, d’examens de demandes de subvention ou d’évaluations technologiques formelles.
  • Expérience de collaboration avec des professionnels de santé, des chercheurs ou des parties prenantes de la réglementation sur l’évaluation ou le déploiement de l’IA.

Avantages

  • Contrat rémunéré pour chaque évaluation.
  • Session d’information pour les évaluateurs sur le cadre d’évaluation et les exigences du projet avant la première mission.

Offres similaires

Volga Partners

Expert médical pour l’évaluation de modèles d’IA

Volga Partners
1 001 – 5 000 Employés
Sponsor de visa H1BB2BEntrepriseIntelligence artificielle
AUAustralieCACanadaGBRoyaume-UniINIndeNZNouvelle-ZélandePHPhilippinesUSÉtats-Unis
35 $ – 150 $ / heure
À distanceContratIntermédiaireSeniorLangue Requise : anglaisIntelligence artificielle

Volga Partners recherche des médecins, des infirmiers en pratique avancée et des assistants médicaux pour évaluer l’exactitude clinique, le raisonnement et la sécurité des contenus médicaux générés par l’IA. Les missions contractuelles à distance, organisées par projet, varient selon les besoins de celui-ci.

Ouvrir