LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Medarbejdere
Fødevarer og drikkevarerRådgivningSundhedsvæsen
mpathic udvikler software til AI-sikkerhed og analyse, der skal forstå og forbedre interaktioner mellem mennesker og AI samt mellem mennesker. Virksomhedens SaaS-produkter og API'er understøtter transskribering fra tale til tekst, fjernelse af personhenførbare oplysninger, adfærds- og tjeklisteanalyse, benchmarkdatasæt, red teaming samt domænebaserede sikkerhedsforanstaltninger gennem virksomhedens Observing Agent API. Virksomheden betjener teams inden for sundhedspleje, biovidenskab, klinisk forskning, forsikring og erhvervsliv, som arbejder på at styrke empati, reducere bias og understøtte sikrere interaktioner med bedre overholdelse af regler.
LinkedIn
Job i virksomheden

Reviewer af evaluering af AI og maskinlæring i sundhedsvæsenet

Gennemgå dokumentation for AI-anvendelser i sundhedsvæsenet i mpathics evalueringer i et regulatorisk testmiljø. Vurder modelvalidering, pålidelighed, sikkerhedsforanstaltninger og monitorering til klinisk brug.

USUSAFjernarbejdeKontraktMellemniveauSeniorPåkrævet Sprog: engelskKunstig intelligens

Beskrivelse

  • Vurder teknisk dokumentation for AI-anvendelser i sundhedsvæsenet, herunder ydeevne, validering, generaliserbarhed, pålidelighed, monitorering og sikkerhedsforanstaltninger.
  • Gennemgå valideringsmetoder, referencestandarder, stikprøvestørrelser, statistiske analyser, målepunkter, driftstærskler og usikkerhed.
  • Undersøg datakvalitet og repræsentativitet, herunder datalækage, forskelle mellem undergrupper og generaliserbarhed på tværs af patientgrupper og behandlingsmiljøer.
  • Test teknisk pålidelighed, robusthed, reproducerbarhed, fejltilstande og adfærd ved atypiske input eller input uden for fordelingsområdet.
  • Gennemgå evalueringsplaner, benchmarks og succeskriterier for pilotimplementeringer.
  • Vurder tekniske sikkerhedsforanstaltninger, eskaleringsveje og processer for menneskeligt tilsyn.
  • Gennemgå planer for monitorering og ændringsstyring med henblik på at opdage faldende ydeevne, følge modellens adfærd, håndtere opdateringer og indgreb samt fastsætte kriterier for tilbagerulning.
  • Samarbejd med klinikere og tekniske specialister om tværfaglige problemstillinger.
  • Dokumentér styrker, begrænsninger, mangler i dokumentationen og tekniske problemstillinger ved hjælp af den standardiserede reviewramme.
  • Giv klare, evidensbaserede anbefalinger, og angiv hvilken dokumentation eller hvilke ændringer der er nødvendige.
  • Deltag i kalibrering af reviewere og kvalitetssikring.
  • Oprethold uafhængighed og fortrolighed, og følg kravene til interessekonflikter og datahåndtering.

Krav

  • Mindst tre års professionel erfaring eller erfaring fra anvendt forskning inden for maskinlæring, datalogi, biostatistik, klinisk informatik eller et beslægtet område, herunder direkte arbejde med evaluering eller validering af prædiktive modeller eller AI-systemer.
  • Forståelse af metoder til modelevaluering, herunder passende præstationsmål, valideringsdesign, statistisk usikkerhed, valg af tærskler og almindelige kilder til bias eller metodiske fejl.
  • Erfaring med at evaluere modellers ydeevne på uafhængige data eller holdout-data og vurdere, om resultaterne kan generaliseres ud over evalueringsdatasættet.
  • Praktisk erfaring med evaluering af mindst én relevant AI-systemtype, såsom klinisk NLP, store sprogmodeller, samtalebaseret AI, medicinsk billeddiagnostik, computervision eller prædiktive modeller baseret på tabeldata.
  • Evne til kritisk at gennemgå teknisk forskning, evalueringsrapporter eller valideringsstudier og identificere metodiske svagheder eller konklusioner uden tilstrækkeligt belæg.
  • Stærke analytiske skrivefærdigheder og evne til at forklare komplekse resultater tydeligt for ikke-tekniske målgrupper.
  • Evne til at arbejde selvstændigt og bidrage til tværfaglig ekspertvurdering og kalibrering.
  • Villighed til at underskrive fortrolighedsaftaler, oplyse om interessekonflikter og gennemføre reviewertræning.
  • Erfaring med evaluering af AI- eller ML-systemer i sundhedsvæsenet, klinisk beslutningsstøtte, digital sundhed eller et andet område med høj risiko.
  • Kendskab til rammer for evaluering og rapportering af klinisk AI, såsom TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI eller modelkort.
  • Erfaring med evaluering af generativ AI, LLM-baserede systemer eller autonome agenter, herunder adfærd over flere ture, pålidelighed, hallucinationer og sikkerhedsforanstaltninger.
  • Erfaring med robusthedstest, adversarial evaluering, red teaming eller systematisk analyse af fejltilstande.
  • Viden om produktionsmonitorering, distributionsskift, modeldrift, versionsstyring og ændringsstyring.
  • Erfaring med at designe eller evaluere systemer med menneskelig involvering eller sammenligne modellers ydeevne med menneskelige eksperters vurderinger.
  • Kendskab til FDA-vejledning om AI-baseret medicinsk udstyr, klinisk beslutningsstøtte eller software som medicinsk udstyr.
  • Erfaring med uafhængige tekniske reviews, fagfællebedømmelse af videnskabelige arbejder, bevillingsvurderinger eller formelle teknologivurderinger.
  • Erfaring med samarbejde med klinikere, forskere eller regulatoriske interessenter om AI-evaluering eller implementering.

Fordele

  • Kontraktarbejde med betaling pr. review.
  • Introduktion for reviewere med gennemgang af evalueringsrammen og projektkravene før den første opgave.

Relaterede job

Volga Partners

Medicinsk fagekspert i evaluering af AI-modeller

Volga Partners
1.001 – 5.000 Medarbejdere
Sponsor for H1B-visumB2BKunstig intelligensVirksomhed
AUAustralienCACanadaGBStorbritannienINIndienNZNew ZealandPHFilippinerneUSUSA
35 $ – 150 $ / time
FjernarbejdeKontraktMellemniveauSeniorPåkrævet Sprog: engelskKunstig intelligens

Volga Partners søger læger, sygeplejersker med udvidede kompetencer og lægeassistenter til at vurdere den kliniske nøjagtighed, ræsonnering og sikkerhed i AI-genereret medicinsk indhold. Projektbaserede konsulentopgaver kan udføres på afstand og varierer efter projekternes behov.

Åbn