LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Mitarbeitende
BeratungGesundheitswesenLebensmittel und Getränke
mpathic entwickelt Software für KI-Sicherheit und Analysen, um menschliche Interaktionen mit KI sowie zwischen Menschen zu verstehen und zu verbessern. Die SaaS-Produkte und APIs des Unternehmens unterstützen die Transkription von Sprache in Text, die Schwärzung personenbezogener Daten, Verhaltens- und Checklistenanalysen, Benchmarking-Datensätze, Red-Teaming sowie domänenspezifische Schutzmechanismen über die Observing Agent API. Das Unternehmen arbeitet mit Teams aus dem Gesundheitswesen, den Lebenswissenschaften, der klinischen Forschung, der Versicherungsbranche und Unternehmen zusammen, die Empathie stärken, Vorurteile reduzieren und sicherere sowie regelkonformere Interaktionen fördern möchten.
LinkedIn
Stellen im Unternehmen

Reviewer für die Bewertung von KI und ML im Gesundheitswesen

Prüfen Sie Nachweise für KI-Anwendungen im Gesundheitswesen im Rahmen der regulatorischen Sandbox-Evaluierungen von mpathic. Bewerten Sie Modellvalidierung, Zuverlässigkeit, Schutzmaßnahmen und Überwachung für den klinischen Einsatz.

USVereinigte StaatenRemoteVertragMittlere StufeSeniorErforderliche Sprache: EnglischKünstliche Intelligenz

Beschreibung

  • Bewerten Sie technische Nachweise für KI-Anwendungen im Gesundheitswesen, darunter Leistung, Validierung, Übertragbarkeit, Zuverlässigkeit, Überwachung und Schutzmaßnahmen.
  • Prüfen Sie Validierungsmethoden, Referenzstandards, Stichprobengrößen, statistische Analysen, Kennzahlen, Betriebsschwellenwerte und Unsicherheiten.
  • Untersuchen Sie Datenqualität und Repräsentativität, einschließlich Datenlecks, Unterschieden zwischen Untergruppen und Übertragbarkeit auf verschiedene Patientengruppen und Versorgungskontexte.
  • Prüfen Sie technische Zuverlässigkeit, Robustheit, Reproduzierbarkeit, Fehlermodi und das Verhalten bei atypischen oder außerhalb der Verteilung liegenden Eingaben.
  • Prüfen Sie Evaluierungspläne, Benchmarks und Erfolgskriterien für Pilotprojekte.
  • Bewerten Sie technische Schutzmaßnahmen, Eskalationswege und Prozesse zur menschlichen Aufsicht.
  • Prüfen Sie Überwachungs- und Änderungsmanagementpläne zur Erkennung von Leistungsabfällen, zur Beobachtung des Modellverhaltens, zur Verwaltung von Aktualisierungen und Interventionen sowie zur Festlegung von Rollback-Kriterien.
  • Arbeiten Sie mit medizinischem Fachpersonal und technischen Spezialistinnen und Spezialisten zusammen, um fachübergreifende Fragen zu klären.
  • Dokumentieren Sie Stärken, Einschränkungen, Nachweislücken und technische Bedenken anhand des standardisierten Bewertungsrahmens.
  • Geben Sie klare, evidenzbasierte Empfehlungen und benennen Sie erforderliche Nachweise oder Änderungen.
  • Nehmen Sie an der Abstimmung zwischen Reviewerinnen und Reviewern sowie an der Qualitätssicherung teil.
  • Wahren Sie Unabhängigkeit und Vertraulichkeit und halten Sie die Anforderungen zu Interessenkonflikten und zum Umgang mit Daten ein.

Anforderungen

  • Mindestens drei Jahre Berufserfahrung oder angewandte Forschungserfahrung im Bereich maschinelles Lernen, Data Science, Biostatistik, klinische Informatik oder einem verwandten Fachgebiet, einschließlich direkter Arbeit an der Bewertung oder Validierung von Vorhersagemodellen oder KI-Systemen.
  • Kenntnisse von Methoden zur Modellbewertung, einschließlich geeigneter Leistungskennzahlen, Validierungsdesign, statistischer Unsicherheit, Schwellenwertauswahl und gängiger Ursachen für Verzerrungen oder methodische Fehler.
  • Erfahrung mit der Bewertung der Modellleistung anhand unabhängiger oder zurückgehaltener Daten sowie mit der Beurteilung, ob sich Ergebnisse über den Evaluierungsdatensatz hinaus verallgemeinern lassen.
  • Praktische Erfahrung mit der Bewertung mindestens eines relevanten KI-Systemtyps, etwa klinischer NLP, großer Sprachmodelle, dialogorientierter KI, medizinischer Bildgebung, Computer Vision oder tabellarischer Vorhersagemodelle.
  • Fähigkeit, technische Forschung, Evaluierungsberichte oder Validierungsstudien kritisch zu prüfen und methodische Schwächen oder unbelegte Schlussfolgerungen zu erkennen.
  • Ausgeprägte analytische Schreibfähigkeiten und die Fähigkeit, komplexe Erkenntnisse einem nichttechnischen Publikum verständlich zu vermitteln.
  • Fähigkeit, selbstständig zu arbeiten und zu multidisziplinären Expertenbewertungen sowie Abstimmungsverfahren beizutragen.
  • Bereitschaft, Vertraulichkeitsvereinbarungen und Erklärungen zu Interessenkonflikten abzugeben sowie an einer Reviewer-Schulung teilzunehmen.
  • Erfahrung mit der Bewertung von KI- oder ML-Systemen im Gesundheitswesen, in der klinischen Entscheidungsunterstützung, im Bereich digitale Gesundheit oder in einem anderen Hochrisikobereich.
  • Vertrautheit mit Rahmenwerken zur Bewertung und Berichterstattung klinischer KI, etwa TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI oder Model Cards.
  • Erfahrung mit der Bewertung generativer KI, LLM-basierter Systeme oder autonomer Agenten, einschließlich Mehrfachdialogen, Zuverlässigkeit, Halluzinationen und Schutzmaßnahmen.
  • Erfahrung mit Robustheitstests, adversarialen Evaluierungen, Red Teaming oder systematischer Analyse von Fehlermodi.
  • Kenntnisse zu Produktionsüberwachung, Verteilungsverschiebungen, Modelldrift, Versionskontrolle und Änderungsmanagement.
  • Erfahrung mit der Entwicklung oder Bewertung von Human-in-the-Loop-Systemen oder mit dem Vergleich der Modellleistung mit Expertenurteilen.
  • Vertrautheit mit FDA-Leitlinien zu KI-gestützten Medizinprodukten, klinischer Entscheidungsunterstützung oder Software als Medizinprodukt.
  • Erfahrung mit unabhängigen technischen Prüfungen, wissenschaftlichen Peer-Reviews, Fördermittelbegutachtungen oder formellen Technologiebewertungen.
  • Erfahrung in der Zusammenarbeit mit medizinischem Fachpersonal, Forschenden oder Regulierungsstellen bei der Bewertung oder Einführung von KI.

Zusatzleistungen

  • Auftragsarbeit mit Vergütung pro Prüfung.
  • Einführung für Reviewerinnen und Reviewer zum Bewertungsrahmen und zu den Projektanforderungen vor dem ersten Auftrag.

Ähnliche Stellen

Volga Partners

Fachärztliche Expertise für die Bewertung von KI-Modellen im Gesundheitswesen

Volga Partners
1.001 – 5.000 Mitarbeitende
Sponsor für H1B-VisumB2BKünstliche IntelligenzUnternehmen
AUAustralienCAKanadaGBVereinigtes KönigreichINIndienNZNeuseelandPHPhilippinenUSVereinigte Staaten
35 $ – 150 $ / Stunde
RemoteVertragMittlere StufeSeniorErforderliche Sprache: EnglischKünstliche Intelligenz

Volga Partners sucht Ärztinnen und Ärzte, Pflegefachpersonen mit erweiterten Kompetenzen sowie Physician Assistants, die die klinische Genauigkeit, Schlussfolgerungen und Sicherheit medizinischer KI-Inhalte bewerten. Die remote durchführbaren, projektbezogenen Vertragsaufträge richten sich nach dem jeweiligen Projektbedarf.

Öffnen