mpathic
mpathic
mpathic tworzy oprogramowanie do zapewniania bezpieczeństwa AI i analityki, które pomaga rozumieć i ulepszać interakcje ludzi ze sztuczną inteligencją oraz między ludźmi. Produkty SaaS i interfejsy API firmy obsługują transkrypcję mowy na tekst, usuwanie danych umożliwiających identyfikację osoby, analizę zachowań i list kontrolnych, referencyjne zbiory danych, testy red teaming oraz zabezpieczenia uwzględniające specyfikę domeny za pośrednictwem interfejsu Observing Agent API. Firma obsługuje zespoły z sektora ochrony zdrowia, nauk biologicznych, badań klinicznych, ubezpieczeń i przedsiębiorstw, które chcą wzmacniać empatię, ograniczać uprzedzenia oraz wspierać bezpieczniejsze i bardziej zgodne z przepisami interakcje.

Ekspert ds. oceny AI/ML w ochronie zdrowia

Oceniaj dowody dotyczące zastosowań AI w ochronie zdrowia w ramach regulacyjnych ewaluacji w piaskownicy mpathic. Weryfikuj walidację modeli, niezawodność, zabezpieczenia i monitorowanie pod kątem zastosowań klinicznych.

Opis

  • Oceniać dowody techniczne dotyczące zastosowań AI w ochronie zdrowia, w tym skuteczność, walidację, możliwość uogólniania, niezawodność, monitorowanie i zabezpieczenia.
  • Weryfikować metody walidacji, standardy odniesienia, wielkości prób, analizy statystyczne, miary, progi operacyjne i niepewność.
  • Analizować jakość i reprezentatywność danych, w tym wycieki danych, różnice między podgrupami oraz możliwość uogólniania wyników na różne grupy pacjentów i warunki opieki.
  • Testować niezawodność techniczną, odporność, powtarzalność, tryby awarii i zachowanie wobec nietypowych danych wejściowych lub danych spoza rozkładu.
  • Weryfikować plany ewaluacji, benchmarki i kryteria sukcesu dla wdrożeń pilotażowych.
  • Oceniać zabezpieczenia techniczne, ścieżki eskalacji i procesy nadzoru człowieka.
  • Weryfikować plany monitorowania i zarządzania zmianami pod kątem wykrywania spadku skuteczności, śledzenia zachowania modelu, zarządzania aktualizacjami i interwencjami oraz ustalania kryteriów wycofania zmian.
  • Współpracować z klinicystami i specjalistami technicznymi przy rozwiązywaniu zagadnień interdyscyplinarnych.
  • Dokumentować mocne strony, ograniczenia, luki w dowodach i zastrzeżenia techniczne zgodnie ze standardowymi ramami oceny.
  • Przedstawiać jasne rekomendacje oparte na dowodach oraz wskazywać potrzebne dowody lub zmiany.
  • Uczestniczyć w kalibracji recenzentów i zapewnianiu jakości.
  • Zachowywać niezależność i poufność oraz przestrzegać wymogów dotyczących konfliktu interesów i postępowania z danymi.

Wymagania

  • Co najmniej trzy lata doświadczenia zawodowego lub w badaniach stosowanych w uczeniu maszynowym, nauce o danych, biostatystyce, informatyce klinicznej lub pokrewnej dziedzinie, w tym bezpośrednia praca przy ocenie lub walidacji modeli predykcyjnych albo systemów AI.
  • Znajomość metod oceny modeli, w tym odpowiednich miar skuteczności, projektu walidacji, niepewności statystycznej, doboru progów oraz typowych źródeł błędu systematycznego lub błędów metodologicznych.
  • Doświadczenie w ocenie skuteczności modeli na niezależnych lub odłożonych danych oraz określaniu, czy wyniki można uogólnić poza zbiór danych ewaluacyjnych.
  • Praktyczne doświadczenie w ocenie co najmniej jednego odpowiedniego rodzaju systemu AI, takiego jak kliniczne przetwarzanie języka naturalnego, duże modele językowe, konwersacyjna AI, obrazowanie medyczne, widzenie komputerowe lub modele predykcyjne oparte na danych tabelarycznych.
  • Umiejętność krytycznej oceny badań technicznych, raportów ewaluacyjnych lub badań walidacyjnych oraz identyfikowania słabości metodologicznych lub nieuzasadnionych wniosków.
  • Bardzo dobre umiejętności analitycznego pisania i zdolność jasnego wyjaśniania złożonych ustaleń odbiorcom bez przygotowania technicznego.
  • Umiejętność samodzielnej pracy oraz udziału w interdyscyplinarnej ocenie eksperckiej i kalibracji.
  • Gotowość do podpisania umów o poufności, złożenia oświadczeń o konfliktach interesów i odbycia szkolenia dla recenzentów.
  • Doświadczenie w ocenie systemów AI lub ML w ochronie zdrowia, klinicznym wspomaganiu decyzji, zdrowiu cyfrowym lub innym obszarze wysokiego ryzyka.
  • Znajomość ram oceny i raportowania klinicznej AI, takich jak TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI lub karty modeli.
  • Doświadczenie w ocenie generatywnej AI, systemów opartych na dużych modelach językowych lub agentów autonomicznych, w tym zachowania w wielu turach, niezawodności, halucynacji i zabezpieczeń.
  • Doświadczenie w testowaniu odporności, ocenie adwersarialnej, red teamingu lub systematycznej analizie trybów awarii.
  • Wiedza na temat monitorowania systemów produkcyjnych, przesunięcia rozkładu, dryfu modeli, kontroli wersji i zarządzania zmianami.
  • Doświadczenie w projektowaniu lub ocenie systemów z udziałem człowieka albo porównywaniu skuteczności modelu z ocenami ekspertów.
  • Znajomość wytycznych FDA dotyczących wyrobów medycznych wykorzystujących AI, klinicznego wspomagania decyzji lub oprogramowania jako wyrobu medycznego.
  • Doświadczenie w przeprowadzaniu niezależnych przeglądów technicznych, recenzji naukowych, ocen wniosków grantowych lub formalnych ocen technologii.
  • Doświadczenie we współpracy z klinicystami, badaczami lub interesariuszami regulacyjnymi przy ocenie lub wdrażaniu AI.

Benefity

  • Praca kontraktowa z wynagrodzeniem za każdą ocenę.
  • Wprowadzenie dla recenzentów obejmujące ramy oceny i wymagania projektu przed pierwszym zleceniem.

Powiązane oferty pracy

Volga Partners

Ekspert medyczny do oceny modeli AI

Volga Partners

Volga Partners poszukuje lekarzy, pielęgniarek praktykujących w rozszerzonym zakresie oraz asystentów lekarza do oceny trafności klinicznej, rozumowania i bezpieczeństwa treści medycznych generowanych przez AI. Zdalne, projektowe zlecenia kontraktowe; ich zakres zależy od potrzeb projektu.

Otwórz