LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Medewerkers
AdviesGezondheidszorgVoedingsmiddelen en dranken
mpathic ontwikkelt software voor AI-veiligheid en -analyse om interacties tussen mensen en AI, evenals interacties tussen mensen onderling, te begrijpen en te verbeteren. De SaaS-producten en API's van het bedrijf ondersteunen spraak-naar-teksttranscriptie, het redigeren van persoonlijk identificeerbare informatie, gedrags- en checklistanalyses, benchmarkdatasets, red-teaming en domeinspecifieke waarborgen via de Observing Agent API. Het bedrijf bedient teams in de gezondheidszorg, levenswetenschappen, klinisch onderzoek, verzekeringen en het bedrijfsleven die empathie willen versterken, vooroordelen willen verminderen en veiligere, beter conforme interacties willen ondersteunen.
LinkedIn
Vacatures bij het bedrijf

Beoordelaar van AI- en ML-evaluaties in de gezondheidszorg

Beoordeel bewijs voor AI-toepassingen in de gezondheidszorg binnen de regulatoire sandbox-evaluaties van mpathic. Beoordeel modelvalidatie, betrouwbaarheid, waarborgen en monitoring voor klinisch gebruik.

USVerenigde StatenOp afstandContractMediorSeniorVereiste Taal: EngelsKunstmatige intelligentie

Beschrijving

  • Beoordeel technisch bewijs voor AI-toepassingen in de gezondheidszorg, waaronder prestaties, validatie, generaliseerbaarheid, betrouwbaarheid, monitoring en waarborgen.
  • Beoordeel validatiemethoden, referentiestandaarden, steekproefgroottes, statistische analyses, meetwaarden, operationele drempelwaarden en onzekerheid.
  • Onderzoek de kwaliteit en representativiteit van gegevens, waaronder datalekken, verschillen tussen subgroepen en generaliseerbaarheid naar patiëntgroepen en zorgomgevingen.
  • Test de technische betrouwbaarheid, robuustheid, reproduceerbaarheid, faalwijzen en het gedrag bij atypische invoer of invoer buiten de verdeling.
  • Beoordeel evaluatieplannen, benchmarks en succescriteria voor pilotimplementaties.
  • Beoordeel technische waarborgen, escalatieroutes en processen voor menselijk toezicht.
  • Beoordeel plannen voor monitoring en wijzigingsbeheer om prestatieverlies te signaleren, modelgedrag te volgen, updates en interventies te beheren en criteria voor terugdraaien vast te stellen.
  • Werk samen met clinici en technische specialisten om vakgebiedoverstijgende vraagstukken aan te pakken.
  • Leg sterke punten, beperkingen, hiaten in het bewijs en technische aandachtspunten vast met het standaard beoordelingskader.
  • Geef duidelijke, op bewijs gebaseerde aanbevelingen en specificeer welk bewijs of welke wijzigingen nodig zijn.
  • Neem deel aan afstemming tussen beoordelaars en kwaliteitsborging.
  • Behoud onafhankelijkheid en vertrouwelijkheid en volg de vereisten voor belangenconflicten en gegevensverwerking.

Vereisten

  • Minimaal drie jaar professionele ervaring of ervaring met toegepast onderzoek in machine learning, data science, biostatistiek, klinische informatica of een verwant vakgebied, waaronder directe ervaring met het evalueren of valideren van voorspellende modellen of AI-systemen.
  • Inzicht in methoden voor modelevaluatie, waaronder geschikte prestatiemaatstaven, validatieopzet, statistische onzekerheid, drempelwaardenselectie en veelvoorkomende bronnen van vertekening of methodologische fouten.
  • Ervaring met het beoordelen van modelprestaties op onafhankelijke of achtergehouden gegevens en met het bepalen of resultaten generaliseerbaar zijn buiten de evaluatiedataset.
  • Praktische ervaring met het evalueren van ten minste één relevant type AI-systeem, zoals klinische NLP, grote taalmodellen, conversatie-AI, medische beeldvorming, computervisie of voorspellende modellen op basis van tabelgegevens.
  • Vermogen om technisch onderzoek, evaluatierapporten of validatiestudies kritisch te beoordelen en methodologische zwaktes of niet-onderbouwde conclusies te herkennen.
  • Sterke analytische schrijfvaardigheden en het vermogen om complexe bevindingen helder uit te leggen aan niet-technische doelgroepen.
  • Vermogen om zelfstandig te werken en bij te dragen aan multidisciplinaire expertbeoordelingen en afstemming.
  • Bereidheid om geheimhoudingsovereenkomsten en verklaringen over belangenconflicten in te vullen en de training voor beoordelaars te volgen.
  • Ervaring met het evalueren van AI- of ML-systemen in de gezondheidszorg, klinische beslisondersteuning, digitale gezondheid of een andere omgeving met grote gevolgen.
  • Bekendheid met kaders voor de evaluatie en rapportage van klinische AI, zoals TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI of modelkaarten.
  • Ervaring met het evalueren van generatieve AI, systemen op basis van grote taalmodellen of autonome agenten, waaronder gedrag in gesprekken met meerdere beurten, betrouwbaarheid, hallucinaties en waarborgen.
  • Ervaring met robuustheidstests, adversariële evaluatie, red teaming of systematische analyse van faalwijzen.
  • Kennis van monitoring in productie, verschuivingen in gegevensverdelingen, modeldrift, versiebeheer en wijzigingsbeheer.
  • Ervaring met het ontwerpen of evalueren van human-in-the-loop-systemen of met het vergelijken van modelprestaties met oordelen van menselijke experts.
  • Bekendheid met FDA-richtlijnen voor medische hulpmiddelen met AI, klinische beslisondersteuning of software als medisch hulpmiddel.
  • Ervaring met onafhankelijke technische beoordelingen, wetenschappelijke peerreviews, subsidieaanvragenbeoordelingen of formele technologie-evaluaties.
  • Ervaring met samenwerking met clinici, onderzoekers of regelgevende instanties rond de evaluatie of implementatie van AI.

Voordelen

  • Opdrachtwerk met betaling per beoordeling.
  • Introductie voor beoordelaars over het evaluatiekader en de projectvereisten vóór de eerste opdracht.

Gerelateerde vacatures

Volga Partners

Medisch deskundige voor de evaluatie van AI-modellen

Volga Partners
1.001 – 5.000 Medewerkers
Sponsor voor H1B-visumB2BKunstmatige intelligentieOnderneming
AUAustraliëCACanadaGBVerenigd KoninkrijkINIndiaNZNieuw-ZeelandPHFilipijnenUSVerenigde Staten
$ 35 – $ 150 / uur
Op afstandContractMediorSeniorVereiste Taal: EngelsKunstmatige intelligentie

Volga Partners zoekt artsen, verpleegkundig specialisten en physician assistants om de klinische juistheid, redenering en veiligheid van door AI gegenereerde medische inhoud te beoordelen. De opdrachten zijn op afstand en projectbasis; de invulling hangt af van de projectbehoeften.

Openen