LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Funcionários
Alimentos e bebidasConsultoriaCuidados de saúde
A mpathic desenvolve software de segurança e análise de IA para compreender e aprimorar as interações entre pessoas e sistemas de IA, bem como entre pessoas. Seus produtos SaaS e APIs oferecem transcrição de fala para texto, ocultação de informações de identificação pessoal, análise comportamental e de listas de verificação, conjuntos de dados de referência, red teaming e mecanismos de proteção orientados por domínio por meio de sua API Observing Agent. A empresa atende equipes dos setores de saúde, ciências da vida, pesquisa clínica, seguros e empresas que trabalham para fortalecer a empatia, reduzir vieses e promover interações mais seguras e em conformidade com as normas.
LinkedIn
Vagas da empresa

Revisor(a) de avaliação de IA/ML em saúde

Analise evidências de aplicações de IA em saúde nas avaliações do ambiente regulatório de testes da mpathic. Avalie a validação, a confiabilidade, as salvaguardas e o monitoramento de modelos para uso clínico.

USEstados UnidosRemotoContratoPlenoSêniorIdioma Obrigatório: inglêsInteligência artificial

Descrição

  • Avalie evidências técnicas de aplicações de IA em saúde, incluindo desempenho, validação, generalização, confiabilidade, monitoramento e salvaguardas.
  • Analise métodos de validação, padrões de referência, tamanhos de amostra, análises estatísticas, métricas, limites operacionais e incertezas.
  • Examine a qualidade e a representatividade dos dados, incluindo vazamento, diferenças entre subgrupos e generalização entre grupos de pacientes e contextos de atendimento.
  • Avalie a confiabilidade técnica, a robustez, a reprodutibilidade, os modos de falha e o comportamento diante de entradas atípicas ou fora da distribuição.
  • Analise planos de avaliação, benchmarks e critérios de sucesso para implantações piloto.
  • Avalie salvaguardas técnicas, fluxos de escalonamento e processos de supervisão humana.
  • Analise planos de monitoramento e gestão de mudanças para detectar queda de desempenho, acompanhar o comportamento do modelo, gerenciar atualizações e intervenções e definir critérios de reversão.
  • Trabalhe com profissionais clínicos e especialistas técnicos para tratar de questões interdisciplinares.
  • Registre pontos fortes, limitações, lacunas de evidências e preocupações técnicas usando a estrutura padrão de revisão.
  • Apresente recomendações claras e baseadas em evidências e especifique as evidências ou mudanças necessárias.
  • Participe da calibração de revisores e da garantia de qualidade.
  • Mantenha independência e confidencialidade, seguindo os requisitos sobre conflitos de interesse e tratamento de dados.

Requisitos

  • Pelo menos três anos de experiência profissional ou de pesquisa aplicada em aprendizado de máquina, ciência de dados, bioestatística, informática clínica ou área relacionada, incluindo atuação direta na avaliação ou validação de modelos preditivos ou sistemas de IA.
  • Compreensão de métodos de avaliação de modelos, incluindo métricas de desempenho adequadas, desenho de validação, incerteza estatística, seleção de limites e fontes comuns de viés ou erro metodológico.
  • Experiência avaliando o desempenho de modelos em dados independentes ou reservados e verificando se os resultados se generalizam além do conjunto de dados de avaliação.
  • Experiência prática na avaliação de pelo menos um tipo relevante de sistema de IA, como PLN clínico, modelos de linguagem grandes, IA conversacional, imagens médicas, visão computacional ou modelos preditivos tabulares.
  • Capacidade de analisar criticamente pesquisas técnicas, relatórios de avaliação ou estudos de validação e identificar fragilidades metodológicas ou conclusões sem sustentação.
  • Boa capacidade de redação analítica e habilidade para explicar achados complexos com clareza a públicos não técnicos.
  • Capacidade de trabalhar de forma independente e contribuir para revisões e calibrações de especialistas multidisciplinares.
  • Disponibilidade para assinar acordos de confidencialidade, declarar conflitos de interesse e concluir o treinamento de revisores.
  • Experiência avaliando sistemas de IA ou ML em saúde, apoio à decisão clínica, saúde digital ou outro contexto de alto risco.
  • Familiaridade com estruturas de avaliação e relato de IA clínica, como TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI ou model cards.
  • Experiência avaliando IA generativa, sistemas baseados em LLMs ou agentes autônomos, incluindo comportamento em múltiplas interações, confiabilidade, alucinações e salvaguardas.
  • Experiência com testes de robustez, avaliação adversarial, red teaming ou análise sistemática de modos de falha.
  • Conhecimento de monitoramento em produção, mudança de distribuição, deriva de modelo, controle de versão e gestão de mudanças.
  • Experiência projetando ou avaliando sistemas com participação humana ou comparando o desempenho de modelos com avaliações de especialistas humanos.
  • Familiaridade com orientações da FDA sobre dispositivos médicos com IA, apoio à decisão clínica ou software como dispositivo médico.
  • Experiência realizando revisões técnicas independentes, revisões científicas por pares, avaliações de propostas de financiamento ou avaliações formais de tecnologia.
  • Experiência trabalhando com profissionais clínicos, pesquisadores ou partes interessadas em regulação na avaliação ou implantação de IA.

Benefícios

  • Trabalho por contrato com pagamento por revisão.
  • Orientação para revisores sobre a estrutura de avaliação e os requisitos do projeto antes da primeira atividade.

Vagas relacionadas

Volga Partners

Especialista em saúde para avaliação de modelos de IA

Volga Partners
1.001 – 5.000 Funcionários
Patrocinador de visto H1BB2BEmpresaInteligência artificial
AUAustráliaCACanadáGBReino UnidoINÍndiaNZNova ZelândiaPHFilipinasUSEstados Unidos
$ 35 – $ 150 / hora
RemotoContratoPlenoSêniorIdioma Obrigatório: inglêsInteligência artificial

A Volga Partners busca médicos, enfermeiros de prática avançada e assistentes médicos para avaliar a precisão clínica, o raciocínio e a segurança de conteúdo médico gerado por IA. As contratações remotas por projeto variam conforme as necessidades de cada projeto.

Abrir