LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Anställda
Hälso- och sjukvårdKonsultverksamhetLivsmedel och drycker
mpathic utvecklar AI-säkerhets- och analysprogramvara för att förstå och förbättra interaktioner mellan människor och AI samt mellan människor. Företagets SaaS-produkter och API:er stöder transkribering från tal till text, borttagning av personligt identifierande information, beteende- och checklisteanalys, benchmarkdatauppsättningar, red teaming samt domänanpassade skyddsräcken genom företagets Observing Agent API. Företaget betjänar team inom hälso- och sjukvård, biovetenskap, klinisk forskning, försäkring och näringslivet som arbetar för att stärka empatin, minska partiskhet och främja säkrare interaktioner med bättre regelefterlevnad.
LinkedIn
Jobb på företaget

Granskare av utvärdering av AI och maskininlärning inom hälso- och sjukvård

Granska underlag för AI-tillämpningar inom hälso- och sjukvården i mpathics regulatoriska sandlådeutvärderingar. Bedöm modellvalidering, tillförlitlighet, skyddsåtgärder och uppföljning för klinisk användning.

USUSADistansKontraktMellannivåSeniorObligatoriskt Språk: engelskaArtificiell intelligens

Beskrivning

  • Bedöm tekniskt underlag för AI-tillämpningar inom hälso- och sjukvården, inklusive prestanda, validering, generaliserbarhet, tillförlitlighet, uppföljning och skyddsåtgärder.
  • Granska valideringsmetoder, referensstandarder, urvalsstorlekar, statistiska analyser, mätetal, drifttrösklar och osäkerhet.
  • Undersök datakvalitet och representativitet, inklusive dataläckage, skillnader mellan undergrupper och generaliserbarhet mellan patientgrupper och vårdmiljöer.
  • Testa teknisk tillförlitlighet, robusthet, reproducerbarhet, felmoder och beteende vid atypiska indata eller indata utanför fördelningen.
  • Granska utvärderingsplaner, riktmärken och framgångskriterier för pilotinföranden.
  • Bedöm tekniska skyddsåtgärder, eskaleringsvägar och processer för mänsklig tillsyn.
  • Granska planer för uppföljning och förändringshantering som omfattar upptäckt av försämrad prestanda, uppföljning av modellbeteende, hantering av uppdateringar och åtgärder samt kriterier för återställning.
  • Samarbeta med kliniker och tekniska specialister för att hantera frågor som berör flera kompetensområden.
  • Dokumentera styrkor, begränsningar, kunskapsluckor i underlaget och tekniska problem med hjälp av granskningsramverket.
  • Ge tydliga, evidensbaserade rekommendationer och ange vilket underlag eller vilka ändringar som behövs.
  • Delta i kalibrering av granskare och kvalitetssäkring.
  • Upprätthåll oberoende och konfidentialitet och följ kraven på intressekonflikter och datahantering.

Krav

  • Minst tre års yrkeserfarenhet eller erfarenhet från tillämpad forskning inom maskininlärning, datavetenskap, biostatistik, klinisk informatik eller ett närliggande område, inklusive praktiskt arbete med att utvärdera eller validera prediktiva modeller eller AI-system.
  • Förståelse för metoder för modelutvärdering, inklusive lämpliga prestandamått, valideringsupplägg, statistisk osäkerhet, val av tröskelvärden och vanliga felkällor kopplade till bias eller metodik.
  • Erfarenhet av att utvärdera modellers prestanda på oberoende data eller testdata och bedöma om resultaten går att generalisera utanför utvärderingsdatasetet.
  • Praktisk erfarenhet av att utvärdera minst en relevant AI-systemtyp, till exempel klinisk NLP, stora språkmodeller, konversationsbaserad AI, medicinsk bilddiagnostik, datorseende eller tabulära prediktiva modeller.
  • Förmåga att kritiskt granska teknisk forskning, utvärderingsrapporter eller valideringsstudier och identifiera metodologiska svagheter eller slutsatser utan tillräckligt stöd.
  • God analytisk skrivförmåga och förmåga att tydligt förklara komplexa resultat för personer utan teknisk bakgrund.
  • Förmåga att arbeta självständigt och bidra till tvärvetenskaplig expertgranskning och kalibrering.
  • Villighet att underteckna sekretessavtal, redovisa intressekonflikter och genomföra granskarutbildning.
  • Erfarenhet av att utvärdera AI- eller ML-system inom hälso- och sjukvård, kliniskt beslutsstöd, digital hälsa eller en annan miljö med höga insatser.
  • Kännedom om ramverk för utvärdering och rapportering av klinisk AI, till exempel TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI eller modellkort.
  • Erfarenhet av att utvärdera generativ AI, LLM-baserade system eller autonoma agenter, inklusive beteende över flera turer, tillförlitlighet, hallucinationer och skyddsåtgärder.
  • Erfarenhet av robusthetstester, adversariell utvärdering, red teaming eller systematisk analys av felmoder.
  • Kunskap om produktionsövervakning, distributionsskift, modelldrift, versionshantering och förändringshantering.
  • Erfarenhet av att utforma eller utvärdera system med mänsklig medverkan eller jämföra modellers prestanda med mänskliga experters bedömningar.
  • Kännedom om FDA:s riktlinjer för AI-baserade medicintekniska produkter, kliniskt beslutsstöd eller programvara som medicinteknisk produkt.
  • Erfarenhet av oberoende tekniska granskningar, vetenskaplig sakkunniggranskning, bidragsgranskning eller formella teknikutvärderingar.
  • Erfarenhet av samarbete med kliniker, forskare eller regulatoriska aktörer kring utvärdering eller införande av AI.

Förmåner

  • Uppdragsarbete med ersättning per granskning.
  • Introduktion för granskare med genomgång av utvärderingsramverket och projektkraven före det första uppdraget.

Relaterade jobb

Volga Partners

Medicinsk sakkunnig inom utvärdering av AI-modeller

Volga Partners
1 001 – 5 000 Anställda
Sponsor för H1B-visumArtificiell intelligensB2BFöretag
AUAustralienCAKanadaGBStorbritannienINIndienNZNya ZeelandPHFilippinernaUSUSA
35 $ – 150 $ / timme
DistansKontraktMellannivåSeniorObligatoriskt Språk: engelskaArtificiell intelligens

Volga Partners söker läkare, specialistsjuksköterskor och läkarassistenter för att bedöma den kliniska riktigheten, slutledningsförmågan och säkerheten i AI-genererat medicinskt innehåll. Distansbaserade konsultuppdrag på projektbasis varierar efter projektens behov.

Öppna