51 – 200 Empleados
La información disponible sobre Mercor no incluye datos verificados suficientes sobre sus productos, servicios, clientes, sector o enfoque de contratación como para elaborar una descripción precisa de la empresa. Se necesita material adicional antes de describir la actividad de la empresa o sus oportunidades.
Experto en Red Team de Seguridad de IA: inglés y tamil, contrato remoto
Pon a prueba modelos y agentes de IA conversacional para detectar vulnerabilidades mediante técnicas adversarias y análisis estructurado de red team. Crea casos de ataque, datos sobre vulnerabilidades e informes reproducibles para los clientes del laboratorio de IA de Mercor.
Descripción
- Sondear modelos y agentes de IA conversacional mediante jailbreaks, inyecciones de instrucciones, escenarios de uso indebido, explotación de sesgos y manipulación en varios turnos
- Crear datos etiquetados por personas documentando fallos, categorizando vulnerabilidades e identificando riesgos sistémicos
- Utilizar taxonomías, benchmarks y playbooks establecidos para mantener evaluaciones coherentes
- Desarrollar informes reproducibles, conjuntos de datos y casos de ataque para clientes
- Evaluar resultados de IA relacionados con sesgos, desinformación, comportamientos perjudiciales y otros temas sensibles
- Identificar debilidades que las pruebas automatizadas podrían pasar por alto
- Ampliar la cobertura de las evaluaciones y ayudar a prevenir problemas imprevistos en producción
- Mejorar los sistemas de IA de los clientes y contribuir a modelos más seguros y fiables
Requisitos
- Dominio nativo o equivalente del inglés y el tamil
- Criterio sólido al evaluar lenguaje y contenido
- Capacidad para determinar si las respuestas de IA son precisas, completas y apropiadas, y explicar la evaluación
- Gran atención a errores sutiles, incoherencias y omisiones
- Capacidad para aplicar directrices y estándares de calidad de forma coherente
- Comunicación clara del razonamiento a públicos técnicos y no técnicos
- Flexibilidad para trabajar en distintos proyectos, formatos de tareas y clientes
- Se valorará: experiencia en aprendizaje automático adversario con conjuntos de datos de jailbreaks, inyección de instrucciones, ataques de RLHF o DPO, o extracción de modelos
- Se valorará: formación en ciberseguridad con experiencia en pruebas de penetración, desarrollo de exploits o ingeniería inversa
- Se valorará: experiencia con riesgos sociotécnicos, como la evaluación de acoso y desinformación, el análisis de abusos o las pruebas de IA conversacional
- Se valorará: experiencia en sondeo creativo en psicología, interpretación o escritura
- Debe trabajar como contratista independiente
- No se admite a candidatos con H-1B ni STEM OPT
Beneficios
- Trabajo completamente remoto
- Horario flexible con posibilidad de establecer tus propias horas
- Pagos semanales mediante Stripe o Wise
- Compensación por hora competitiva
- Oportunidad de adquirir experiencia en red teaming de IA basado en datos humanos y centrado en la seguridad de vanguardia
- Contribución directa a sistemas de IA más robustos, seguros y confiables
- Participación opcional en proyectos de mayor sensibilidad
- Directrices y recursos de bienestar para proyectos que impliquen contenido sensible
- Adaptaciones razonables disponibles previa solicitud
- Programa de referidos que ofrece hasta 90 USD por cada referido exitoso, sujeto a límites de referidos