51 – 200 Funcionários
As informações disponíveis sobre a Mercor não incluem dados verificados suficientes sobre seus produtos, serviços, clientes, setor ou foco de contratação para permitir uma descrição precisa da empresa. É necessário obter mais material de fonte antes de descrever o negócio ou suas oportunidades.
Especialista em Red Team de Segurança de IA: inglês e tâmil, contrato remoto
Teste modelos e agentes de IA conversacional em busca de vulnerabilidades por meio de sondagem adversarial e análise estruturada de red team. Crie casos de ataque, dados sobre vulnerabilidades e relatórios reproduzíveis para os clientes do laboratório de IA da Mercor.
Descrição
- Sondar modelos e agentes de IA conversacional usando jailbreaks, injeções de prompt, cenários de uso indevido, exploração de vieses e manipulação em várias rodadas
- Criar dados rotulados por humanos documentando falhas, categorizando vulnerabilidades e identificando riscos sistêmicos
- Usar taxonomias, benchmarks e playbooks estabelecidos para manter avaliações consistentes
- Desenvolver relatórios reproduzíveis, conjuntos de dados e casos de ataque para clientes
- Avaliar resultados de IA envolvendo viés, desinformação, comportamento prejudicial e outros temas sensíveis
- Identificar pontos fracos que os testes automatizados podem não detectar
- Ampliar a cobertura das avaliações e ajudar a prevenir problemas inesperados em produção
- Aprimorar os sistemas de IA dos clientes e contribuir para modelos mais seguros e confiáveis
Requisitos
- Fluência em nível nativo em inglês e tâmil
- Bom discernimento ao avaliar linguagem e conteúdo
- Capacidade de determinar se as respostas de IA são precisas, completas e apropriadas, e explicar a avaliação
- Atenção cuidadosa a erros sutis, inconsistências e omissões
- Capacidade de aplicar diretrizes e padrões de qualidade de forma consistente
- Comunicação clara do raciocínio para públicos técnicos e não técnicos
- Flexibilidade para atuar em diferentes projetos, formatos de tarefas e clientes
- Preferencial: experiência em aprendizado de máquina adversarial com conjuntos de dados de jailbreak, injeção de prompt, ataques de RLHF ou DPO, ou extração de modelos
- Preferencial: experiência em cibersegurança com testes de intrusão, desenvolvimento de exploits ou engenharia reversa
- Preferencial: experiência com riscos sociotécnicos, como sondagem de assédio e desinformação, análise de abusos ou testes de IA conversacional
- Preferencial: experiência em sondagem criativa em psicologia, atuação ou escrita
- É necessário trabalhar como contratado independente
- Candidatos com H-1B e STEM OPT não são aceitos
Benefícios
- Trabalho totalmente remoto
- Horário flexível com possibilidade de definir suas próprias horas
- Pagamentos semanais por Stripe ou Wise
- Remuneração por hora competitiva
- Oportunidade de adquirir experiência em red teaming de IA orientado por dados humanos e focado em segurança de fronteira
- Contribuição direta para sistemas de IA mais robustos, seguros e confiáveis
- Participação opcional em projetos de maior sensibilidade
- Diretrizes e recursos de bem-estar para projetos que envolvam conteúdo sensível
- Adaptações razoáveis disponíveis mediante solicitação
- Programa de indicação que oferece até US$ 90 por indicação bem-sucedida, sujeito aos limites de indicação