mpathic
mpathic
mpathic розробляє програмне забезпечення для безпеки ШІ та аналітики, яке допомагає розуміти й покращувати взаємодію людей із ШІ та одне з одним. SaaS-продукти й API компанії підтримують транскрибування мовлення в текст, видалення персональних даних, аналіз поведінки та контрольних списків, еталонні набори даних, red team-тестування й галузеві захисні механізми через API Observing Agent. Компанія працює з організаціями у сфері охорони здоров’я, медико-біологічних наук, клінічних досліджень, страхування та великого бізнесу, допомагаючи посилювати емпатію, зменшувати упередженість і забезпечувати безпечнішу взаємодію, що краще відповідає вимогам.

Експерт з оцінювання ШІ/МО в охороні здоров’я

Перевіряйте докази для медичних застосунків ШІ в межах регуляторних оцінювань у пісочниці mpathic. Оцінюйте валідацію моделей, надійність, запобіжні заходи та моніторинг для клінічного використання.

Опис

  • Оцінювати технічні докази для медичних застосунків ШІ, зокрема їхню ефективність, валідацію, здатність до узагальнення, надійність, моніторинг і запобіжні заходи.
  • Перевіряти методи валідації, еталонні стандарти, розміри вибірок, статистичний аналіз, метрики, робочі порогові значення та невизначеність.
  • Вивчати якість і репрезентативність даних, зокрема витік даних, відмінності між підгрупами та здатність до узагальнення для різних груп пацієнтів і умов надання медичної допомоги.
  • Перевіряти технічну надійність, стійкість, відтворюваність, режими відмов і поведінку на нетипових вхідних даних або даних поза розподілом.
  • Перевіряти плани оцінювання, еталонні набори та критерії успіху для пілотних розгортань.
  • Оцінювати технічні запобіжні заходи, шляхи ескалації та процеси людського нагляду.
  • Перевіряти плани моніторингу й управління змінами для виявлення зниження ефективності, відстеження поведінки моделі, керування оновленнями та втручаннями, а також визначення критеріїв відкату.
  • Співпрацювати з клініцистами й технічними фахівцями для розгляду міждисциплінарних питань.
  • Фіксувати сильні сторони, обмеження, прогалини в доказах і технічні зауваження за стандартною системою перевірки.
  • Надавати чіткі рекомендації, обґрунтовані доказами, і зазначати, які докази чи зміни потрібні.
  • Брати участь у калібруванні експертів і забезпеченні якості.
  • Зберігати незалежність і конфіденційність, дотримуючись вимог щодо конфлікту інтересів та роботи з даними.

Вимоги

  • Щонайменше три роки професійного досвіду або досвіду прикладних досліджень у машинному навчанні, науці про дані, біостатистиці, клінічній інформатиці чи суміжній галузі, зокрема безпосередньої роботи з оцінювання або валідації прогностичних моделей чи систем ШІ.
  • Розуміння методів оцінювання моделей, зокрема належних метрик ефективності, планування валідації, статистичної невизначеності, вибору порогових значень і поширених джерел упереджень або методологічних помилок.
  • Досвід оцінювання ефективності моделей на незалежних або відкладених даних і визначення того, чи узагальнюються результати за межами набору даних для оцінювання.
  • Практичний досвід оцінювання принаймні одного відповідного типу систем ШІ, наприклад клінічної обробки природної мови, великих мовних моделей, розмовного ШІ, медичної візуалізації, комп’ютерного зору або прогностичних моделей на табличних даних.
  • Уміння критично аналізувати технічні дослідження, звіти про оцінювання чи дослідження валідації та виявляти методологічні недоліки або непідтверджені висновки.
  • Сильні навички аналітичного письма та здатність зрозуміло пояснювати складні висновки нетехнічній аудиторії.
  • Здатність працювати самостійно та долучатися до міждисциплінарного експертного оцінювання й калібрування.
  • Готовність підписати угоди про конфіденційність, надати інформацію про конфлікти інтересів і пройти навчання для експертів.
  • Досвід оцінювання систем ШІ або машинного навчання в охороні здоров’я, підтримці клінічних рішень, цифровій медицині чи іншій сфері з високими ставками.
  • Ознайомленість із рамками оцінювання та звітування щодо клінічного ШІ, як-от TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI або картки моделей.
  • Досвід оцінювання генеративного ШІ, систем на основі великих мовних моделей або автономних агентів, зокрема багатокрокової взаємодії, надійності, галюцинацій і запобіжних заходів.
  • Досвід тестування стійкості, змагального оцінювання, red teaming або систематичного аналізу режимів відмов.
  • Знання виробничого моніторингу, зсуву розподілу даних, дрейфу моделей, контролю версій та управління змінами.
  • Досвід проєктування або оцінювання систем із залученням людини чи порівняння ефективності моделі з оцінками експертів-людей.
  • Ознайомленість із рекомендаціями FDA щодо медичних пристроїв із підтримкою ШІ, підтримки клінічних рішень або програмного забезпечення як медичного виробу.
  • Досвід проведення незалежних технічних перевірок, наукового рецензування, оцінювання грантових заявок або формального оцінювання технологій.
  • Досвід співпраці з клініцистами, дослідниками чи представниками регуляторних органів з питань оцінювання або впровадження ШІ.

Переваги

  • Контрактна робота з оплатою за кожну перевірку.
  • Вступний інструктаж для експертів щодо системи оцінювання та вимог проєкту до першого завдання.

Схожі вакансії

Gramian Consulting

Фахівець із контролю якості розмітки даних для ШІ

Gramian Consulting

Керує перевіркою якості даних для навчання ШІ в Gramian Consulting. Координує перевіряльників, аудит, зворотний зв’язок, навчання та вдосконалення процесів у віддалених проєктних командах.

Відкрити
Mercor

Фахівець із безпеки ШІ зі знанням англійської

Mercor
51 – 200 Працівники

Перевіряйте діалоги англійською мовою та оцінюйте відповіді ШІ для Mercor. Дотримуйтеся вказівок проєкту й надавайте структурований зворотний зв’язок для навчання передових систем ШІ.

Відкрити
Mercor

Учасник дослідження відгуків користувачів про ШІ-асистента — віддалено

Mercor
51 – 200 Працівники

Користуйтеся Meta Muse або Instinct і оцінюйте ініціативні повідомлення асистента в межах дослідження Mercor з навчання ШІ. Щотижня надсилайте листування, попередньо видаливши особисті дані.

Відкрити
Sigma AI

Лінгвістичний анотатор кантонської китайської мови

Sigma AI

Віддалена фриланс-робота анотатором із кантонською та англійською мовами в проєктах Sigma AI зі збору даних. Завдання охоплюють анотування, транскрибування, перевірку та запис голосу.

Відкрити
Volga Partners

Медичний експерт з оцінювання моделей ШІ

Volga Partners

Volga Partners запрошує лікарів, медичних сестер із розширеною практикою та асистентів лікаря оцінювати клінічну точність, обґрунтованість і безпечність медичних матеріалів, створених ШІ. Віддалені проєктні завдання за договором; їхній обсяг залежить від потреб проєкту.

Відкрити