mpathic
mpathic
mpathic vyvíja softvér na zaistenie bezpečnosti a analytiku umelej inteligencie na pochopenie a zlepšovanie interakcií medzi ľuďmi a umelou inteligenciou, ako aj medzi ľuďmi navzájom. Jej produkty SaaS a rozhrania API podporujú prepis reči na text, odstraňovanie osobne identifikovateľných údajov, analýzu správania a kontrolných zoznamov, porovnávacie súbory údajov, red teaming a doménovo informované ochranné mechanizmy prostredníctvom rozhrania Observing Agent API. Spoločnosť slúži tímom v zdravotníctve, biologických vedách, klinickom výskume, poisťovníctve a podnikovej sfére, ktoré sa usilujú posilniť empatiu, znížiť zaujatosť a podporiť bezpečnejšie interakcie v súlade s predpismi.

Recenzent hodnotenia zdravotníckej AI/ML

Posudzujte dôkazy pre zdravotnícke aplikácie AI v rámci regulačných hodnotení v sandboxe mpathic. Vyhodnocujte validáciu modelov, spoľahlivosť, ochranné opatrenia a monitorovanie pri klinickom použití.

Popis

  • Posudzujte technické dôkazy pre zdravotnícke aplikácie AI vrátane výkonnosti, validácie, zovšeobecniteľnosti, spoľahlivosti, monitorovania a ochranných opatrení.
  • Preskúmavajte metódy validácie, referenčné štandardy, veľkosti vzoriek, štatistické analýzy, metriky, prevádzkové prahové hodnoty a mieru neistoty.
  • Skúmajte kvalitu a reprezentatívnosť údajov vrátane úniku údajov, rozdielov medzi podskupinami a zovšeobecniteľnosti naprieč skupinami pacientov a prostrediami starostlivosti.
  • Testujte technickú spoľahlivosť, odolnosť, reprodukovateľnosť, spôsoby zlyhania a správanie pri atypických vstupoch alebo vstupoch mimo distribúcie.
  • Preskúmavajte plány hodnotenia, referenčné testy a kritériá úspechu pri pilotnom nasadení.
  • Posudzujte technické ochranné opatrenia, postupy eskalácie a procesy ľudského dohľadu.
  • Preskúmavajte plány monitorovania a riadenia zmien zamerané na odhaľovanie poklesu výkonnosti, sledovanie správania modelu, správu aktualizácií a zásahov a stanovenie kritérií návratu k predchádzajúcej verzii.
  • Spolupracujte s klinickými pracovníkmi a technickými odborníkmi pri riešení otázok naprieč odbormi.
  • Zaznamenávajte silné stránky, obmedzenia, medzery v dôkazoch a technické výhrady pomocou štandardného rámca hodnotenia.
  • Formulujte jasné odporúčania podložené dôkazmi a uveďte, aké dôkazy alebo zmeny sú potrebné.
  • Zúčastňujte sa kalibrácie recenzentov a zabezpečenia kvality.
  • Zachovávajte nezávislosť a dôvernosť a dodržiavajte požiadavky na konflikty záujmov a nakladanie s údajmi.

Požiadavky

  • Aspoň tri roky profesionálnych skúseností alebo skúseností z aplikovaného výskumu v oblasti strojového učenia, dátovej vedy, biostatistiky, klinickej informatiky alebo príbuznom odbore vrátane priamej práce na hodnotení alebo validácii prediktívnych modelov či systémov AI.
  • Porozumenie metódam hodnotenia modelov vrátane vhodných metrík výkonnosti, návrhu validácie, štatistickej neistoty, výberu prahových hodnôt a bežných zdrojov skreslenia či metodologických chýb.
  • Skúsenosti s hodnotením výkonnosti modelov na nezávislých alebo vyhradených testovacích údajoch a posudzovaním, či sa výsledky dajú zovšeobecniť aj mimo hodnotenej dátovej množiny.
  • Praktické skúsenosti s hodnotením aspoň jedného relevantného typu systému AI, napríklad klinického spracovania prirodzeného jazyka, veľkých jazykových modelov, konverzačnej AI, medicínskeho zobrazovania, počítačového videnia alebo prediktívnych modelov nad tabuľkovými údajmi.
  • Schopnosť kriticky posudzovať technický výskum, hodnotiace správy alebo validačné štúdie a identifikovať metodologické nedostatky či nepodložené závery.
  • Vynikajúce analytické písomné schopnosti a schopnosť jasne vysvetľovať zložité zistenia netechnickému publiku.
  • Schopnosť pracovať samostatne a prispievať k multidisciplinárnemu odbornému hodnoteniu a kalibrácii.
  • Ochota podpísať dohody o dôvernosti, predložiť vyhlásenia o konflikte záujmov a absolvovať školenie recenzentov.
  • Skúsenosti s hodnotením systémov AI alebo ML v zdravotníctve, podpore klinického rozhodovania, digitálnom zdraví alebo inom prostredí s vysokou mierou rizika.
  • Znalosť rámcov na hodnotenie a vykazovanie klinickej AI, ako sú TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI alebo karty modelov.
  • Skúsenosti s hodnotením generatívnej AI, systémov založených na LLM alebo autonómnych agentov vrátane správania vo viacerých kolách, spoľahlivosti, halucinácií a ochranných opatrení.
  • Skúsenosti s testovaním odolnosti, adversárnym hodnotením, red teamingom alebo systematickou analýzou spôsobov zlyhania.
  • Znalosť monitorovania v produkčnom prostredí, posunu distribúcie, driftu modelov, správy verzií a riadenia zmien.
  • Skúsenosti s navrhovaním alebo hodnotením systémov s účasťou človeka v rozhodovacom procese alebo s porovnávaním výkonnosti modelov s úsudkami ľudských odborníkov.
  • Znalosť usmernení FDA pre zdravotnícke pomôcky s podporou AI, podporu klinického rozhodovania alebo softvér ako zdravotnícku pomôcku.
  • Skúsenosti s nezávislými technickými hodnoteniami, vedeckým recenzným konaním, hodnotením grantov alebo formálnym posudzovaním technológií.
  • Skúsenosti so spoluprácou s klinickými pracovníkmi, výskumníkmi alebo regulačnými zainteresovanými stranami pri hodnotení alebo nasadzovaní AI.

Benefity

  • Zmluvná spolupráca s odmenou za každé hodnotenie.
  • Úvodné školenie recenzentov o hodnotiacom rámci a požiadavkách projektu pred prvým pridelením úlohy.

Súvisiace pracovné ponuky

Volga Partners

Odborník na zdravotníctvo pre hodnotenie modelov AI

Volga Partners

Spoločnosť Volga Partners hľadá lekárov, zdravotných sestier s pokročilou praxou a asistentov lekára na posudzovanie klinickej presnosti, uvažovania a bezpečnosti medicínskeho obsahu vytvoreného AI. Ide o prácu na diaľku na základe projektových zmlúv; zadania sa líšia podľa potrieb projektov.

Otvoriť