LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Ansatte
HelsevesenMat og drikkeRådgivning
mpathic utvikler programvare for AI-sikkerhet og analyse for å forstå og forbedre samspill mellom mennesker og AI samt mellom mennesker. Selskapets SaaS-produkter og API-er støtter transkribering fra tale til tekst, fjerning av personlig identifiserbar informasjon, atferds- og sjekklisteanalyse, referansedatasett, red teaming og domenetilpassede sikkerhetstiltak gjennom selskapets Observing Agent API. Selskapet betjener team innen helsevesen, biovitenskap, klinisk forskning, forsikring og næringsliv som arbeider for å styrke empati, redusere skjevhet og støtte tryggere samhandling med bedre etterlevelse av regelverk.
LinkedIn
Jobber i bedriften

Faggransker av evaluering av KI og maskinlæring i helsetjenesten

Gjennomgå dokumentasjon for KI-bruk i helsetjenesten i mpathics evalueringer i en regulatorisk sandkasse. Vurder modellvalidering, pålitelighet, sikkerhetstiltak og overvåking for klinisk bruk.

USUSAFjernarbeidKontraktMellomnivåSeniorPåkrevd Språk: engelskKunstig intelligens

Beskrivelse

  • Vurder teknisk dokumentasjon for KI-bruk i helsetjenesten, inkludert ytelse, validering, generaliserbarhet, pålitelighet, overvåking og sikkerhetstiltak.
  • Gjennomgå valideringsmetoder, referansestandarder, utvalgsstørrelser, statistiske analyser, måltall, driftsterskler og usikkerhet.
  • Undersøk datakvalitet og representativitet, inkludert datalekkasje, forskjeller mellom undergrupper og generaliserbarhet på tvers av pasientgrupper og behandlingsmiljøer.
  • Test teknisk pålitelighet, robusthet, reproduserbarhet, feilmoduser og atferd ved atypiske inndata eller inndata utenfor fordelingsområdet.
  • Gjennomgå evalueringsplaner, referanseverdier og suksesskriterier for pilotinnføringer.
  • Vurder tekniske sikkerhetstiltak, eskaleringsveier og prosesser for menneskelig tilsyn.
  • Gjennomgå planer for overvåking og endringsstyring for å oppdage svekket ytelse, følge modellatferd, håndtere oppdateringer og tiltak samt fastsette kriterier for tilbakestilling.
  • Samarbeid med klinikere og tekniske spesialister om tverrfaglige problemstillinger.
  • Dokumenter styrker, begrensninger, mangler i dokumentasjonen og tekniske problemstillinger ved hjelp av standardrammeverket for gjennomgang.
  • Gi tydelige, kunnskapsbaserte anbefalinger, og spesifiser hvilken dokumentasjon eller hvilke endringer som trengs.
  • Delta i kalibrering av faggranskere og kvalitetssikring.
  • Oppretthold uavhengighet og konfidensialitet, og følg kravene til interessekonflikter og datahåndtering.

Krav

  • Minst tre års yrkeserfaring eller erfaring fra anvendt forskning innen maskinlæring, datavitenskap, biostatistikk, klinisk informatikk eller et beslektet fagområde, inkludert direkte arbeid med evaluering eller validering av prediktive modeller eller KI-systemer.
  • Forståelse av metoder for modelevaluering, inkludert egnede ytelsesmål, valideringsdesign, statistisk usikkerhet, valg av terskler og vanlige kilder til skjevhet eller metodiske feil.
  • Erfaring med å evaluere modellers ytelse på uavhengige data eller holdout-data og vurdere om resultatene kan generaliseres utover evalueringsdatasettet.
  • Praktisk erfaring med å evaluere minst én relevant type KI-system, for eksempel klinisk NLP, store språkmodeller, samtalebasert KI, medisinsk bildediagnostikk, datasyn eller prediktive modeller basert på tabelldata.
  • Evne til å gjennomgå teknisk forskning, evalueringsrapporter eller valideringsstudier kritisk og identifisere metodiske svakheter eller konklusjoner uten tilstrekkelig grunnlag.
  • Gode analytiske skriveferdigheter og evne til å forklare komplekse funn tydelig for personer uten teknisk bakgrunn.
  • Evne til å arbeide selvstendig og bidra til tverrfaglig ekspertgjennomgang og kalibrering.
  • Villighet til å inngå konfidensialitetsavtaler, oppgi interessekonflikter og gjennomføre opplæring for faggranskere.
  • Erfaring med evaluering av KI- eller ML-systemer i helsetjenesten, klinisk beslutningsstøtte, digital helse eller andre områder med høy risiko.
  • Kjennskap til rammeverk for evaluering og rapportering av klinisk KI, som TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI eller modellkort.
  • Erfaring med evaluering av generativ KI, LLM-baserte systemer eller autonome agenter, inkludert atferd over flere samtalerunder, pålitelighet, hallusinasjoner og sikkerhetstiltak.
  • Erfaring med robusthetstesting, adversariell evaluering, red teaming eller systematisk analyse av feilmoduser.
  • Kunnskap om produksjonsovervåking, distribusjonsskift, modelldrift, versjonskontroll og endringsstyring.
  • Erfaring med å utforme eller evaluere systemer med menneskelig involvering eller sammenligne modellers ytelse med menneskelige eksperters vurderinger.
  • Kjennskap til FDA-veiledning om AI-baserte medisinske produkter, klinisk beslutningsstøtte eller programvare som medisinsk utstyr.
  • Erfaring med uavhengige tekniske gjennomganger, fagfellevurdering av forskning, søknadsvurderinger eller formelle teknologievalueringer.
  • Erfaring med samarbeid med klinikere, forskere eller regulatoriske aktører om evaluering eller innføring av KI.

Fordeler

  • Kontraktsarbeid med betaling per gjennomgang.
  • Introduksjon for faggranskere med gjennomgang av evalueringsrammeverket og prosjektkravene før det første oppdraget.

Relaterte jobber

Volga Partners

Medisinsk fagekspert innen evaluering av AI-modeller

Volga Partners
1 001 – 5 000 Ansatte
Sponsor for H1B-visumB2BForetakKunstig intelligens
AUAustraliaCACanadaGBStorbritanniaINIndiaNZNew ZealandPHFilippineneUSUSA
35 $ – 150 $ / time
FjernarbeidKontraktMellomnivåSeniorPåkrevd Språk: engelskKunstig intelligens

Volga Partners søker leger, avanserte kliniske sykepleiere og legeassistenter til å vurdere den kliniske nøyaktigheten, resonneringen og sikkerheten i AI-generert medisinsk innhold. Prosjektbaserte konsulentoppdrag kan utføres eksternt og varierer etter prosjektbehov.

Åpne