LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Сотрудники
ЗдравоохранениеКонсалтингПродукты питания и напитки
mpathic разрабатывает программное обеспечение для обеспечения безопасности ИИ и аналитики, которое помогает понимать и улучшать взаимодействие людей с ИИ и друг с другом. SaaS-продукты и API компании поддерживают транскрибацию речи в текст, удаление персональных данных, анализ поведения и контрольных списков, эталонные наборы данных, проведение red team-тестирования и отраслевые защитные механизмы через API Observing Agent. Компания работает с организациями в сфере здравоохранения, медико-биологических наук, клинических исследований, страхования и крупного бизнеса, помогая повышать эмпатию, снижать предвзятость и обеспечивать более безопасное и соответствующее требованиям взаимодействие.
LinkedIn
Вакансии компании

Эксперт по оценке ИИ/МО в здравоохранении

Проверяйте доказательства для медицинских ИИ-приложений в рамках регуляторных оценок в песочнице mpathic. Оценивайте валидацию моделей, надежность, меры защиты и мониторинг для клинического применения.

USСоединенные ШтатыУдалённоКонтрактСредний уровеньСтарший специалистТребуемый Язык: английскийИскусственный интеллект

Описание

  • Оценивать технические доказательства для медицинских ИИ-приложений, включая их эффективность, валидацию, обобщающую способность, надежность, мониторинг и меры защиты.
  • Проверять методы валидации, эталонные стандарты, размеры выборок, статистический анализ, метрики, рабочие пороговые значения и неопределенность.
  • Изучать качество и репрезентативность данных, включая утечку данных, различия между подгруппами и обобщающую способность для разных групп пациентов и условий оказания помощи.
  • Проверять техническую надежность, устойчивость, воспроизводимость, режимы отказа и поведение на нетипичных входных данных или данных вне распределения.
  • Проверять планы оценки, эталонные наборы и критерии успеха для пилотных внедрений.
  • Оценивать технические меры защиты, порядок эскалации и процессы человеческого контроля.
  • Проверять планы мониторинга и управления изменениями, в том числе выявление снижения эффективности, отслеживание поведения модели, управление обновлениями и мерами реагирования, а также критерии отката.
  • Работать с клиницистами и техническими специалистами над междисциплинарными вопросами.
  • Фиксировать сильные стороны, ограничения, пробелы в доказательствах и технические замечания в соответствии со стандартной системой проверки.
  • Формулировать четкие рекомендации, основанные на доказательствах, и указывать, какие доказательства или изменения необходимы.
  • Участвовать в калибровке экспертов и обеспечении качества.
  • Сохранять независимость и конфиденциальность, соблюдать требования по конфликту интересов и обращению с данными.

Требования

  • Не менее трех лет профессионального опыта или опыта прикладных исследований в области машинного обучения, науки о данных, биостатистики, клинической информатики или смежной области, включая непосредственную оценку или валидацию прогностических моделей либо систем ИИ.
  • Понимание методов оценки моделей, включая подходящие метрики эффективности, дизайн валидации, статистическую неопределенность, выбор пороговых значений и распространенные источники смещения или методологических ошибок.
  • Опыт оценки эффективности моделей на независимых или отложенных данных и определения того, обобщаются ли результаты за пределами набора данных для оценки.
  • Практический опыт оценки хотя бы одного подходящего типа ИИ-систем: клинической обработки естественного языка, больших языковых моделей, разговорного ИИ, медицинской визуализации, компьютерного зрения или моделей прогнозирования на табличных данных.
  • Умение критически анализировать технические исследования, отчеты об оценке или исследования валидации и выявлять методологические недостатки либо неподтвержденные выводы.
  • Развитые навыки аналитического письма и умение ясно объяснять сложные выводы неспециалистам.
  • Умение работать самостоятельно и участвовать в междисциплинарной экспертной оценке и калибровке.
  • Готовность подписать соглашения о конфиденциальности, раскрыть информацию о конфликтах интересов и пройти обучение для экспертов.
  • Опыт оценки систем ИИ или машинного обучения в здравоохранении, поддержке клинических решений, цифровом здравоохранении или другой сфере с высокими требованиями к безопасности.
  • Знакомство с принципами оценки и отчетности для клинического ИИ, такими как TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI или карточки моделей.
  • Опыт оценки генеративного ИИ, систем на основе больших языковых моделей или автономных агентов, включая многошаговое взаимодействие, надежность, галлюцинации и меры защиты.
  • Опыт тестирования устойчивости, состязательной оценки, red teaming или систематического анализа режимов отказа.
  • Знание производственного мониторинга, сдвига распределения данных, дрейфа моделей, контроля версий и управления изменениями.
  • Опыт разработки или оценки систем с участием человека либо сравнения эффективности модели с оценками экспертов-людей.
  • Знакомство с рекомендациями FDA по медицинским устройствам с поддержкой ИИ, поддержке клинических решений или программному обеспечению как медицинскому изделию.
  • Опыт проведения независимых технических проверок, научного рецензирования, экспертизы грантов или формальной оценки технологий.
  • Опыт сотрудничества с клиницистами, исследователями или представителями регулирующих органов по вопросам оценки или внедрения ИИ.

Преимущества

  • Контрактная работа с оплатой за каждую проверку.
  • Вводный инструктаж для экспертов по системе оценки и требованиям проекта до первого задания.

Похожие вакансии

Gramian Consulting

Специалист по контролю качества разметки данных для ИИ

Gramian Consulting
КонсалтингЛогистикаМаркетинг
BRБразилияINИндияUSСоединенные ШтатыУдалённоКонтрактСредний уровеньСтарший специалистТребуемый Язык: английскийИскусственный интеллект

Руководит проверкой качества данных для обучения ИИ в Gramian Consulting. Координирует проверяющих, аудит, обратную связь, обучение и улучшение процессов в удалённых проектных командах.

Открыть
Mercor

Специалист по безопасности ИИ со знанием английского

Mercor
51 – 200 Сотрудники
USСоединенные Штаты
30 $ / час
УдалённоКонтрактСредний уровеньСтарший специалистТребуемый Язык: английскийИскусственный интеллект

Проверяйте диалоги на английском языке и оценивайте ответы ИИ для Mercor. Следуйте рекомендациям проекта и предоставляйте структурированную обратную связь для обучения передовых систем ИИ.

Открыть
Mercor

Участник исследования отзывов пользователей об ИИ-ассистенте — удалённо

Mercor
51 – 200 Сотрудники
USСоединенные Штаты
30 $ – 35 $ / час
УдалённоКонтрактСредний уровеньСтарший специалистТребуемый Язык: английскийИскусственный интеллект

Используйте Meta Muse или Instinct и оценивайте инициативные сообщения ассистента в рамках исследования Mercor по обучению ИИ. Раз в неделю отправляйте переписки, предварительно удалив личные данные.

Открыть
Sigma AI

Лингвистический аннотатор кантонского китайского языка

Sigma AI
501 – 1 000 Сотрудники
ЗдравоохранениеКонсалтингЛогистика
USСоединенные ШтатыУдалённоКонтрактСредний уровеньСтарший специалистТребуемый Язык: английскийИскусственный интеллект
AndroidiOSmacOS

Удалённая фриланс-работа аннотатором с кантонским и английским языками в проектах Sigma AI по сбору данных. Задачи включают аннотирование, транскрибацию, проверку и запись голоса.

Открыть
Volga Partners

Эксперт по медицине для оценки моделей ИИ

Volga Partners
1 001 – 5 000 Сотрудники
Спонсор визы H1BB2BИскусственный интеллектПредприятие
AUАвстралияCAКанадаGBВеликобританияINИндияNZНовая ЗеландияPHФилиппиныUSСоединенные Штаты
35 $ – 150 $ / час
УдалённоКонтрактСредний уровеньСтарший специалистТребуемый Язык: английскийИскусственный интеллект

Volga Partners приглашает врачей, практикующих медсестёр и ассистентов врача оценивать клиническую точность, обоснованность и безопасность медицинских материалов, созданных ИИ. Удалённые проектные задания по договору; их объём зависит от потребностей проекта.

Открыть