51 – 200 Employés
Les informations disponibles sur Mercor ne contiennent pas suffisamment de données vérifiées sur ses produits, services, clients, secteur ou orientation en matière de recrutement pour permettre une présentation exacte de l’entreprise. Des sources supplémentaires sont nécessaires avant de décrire l’activité de l’entreprise ou ses opportunités.
Expert en red team de sécurité de l’IA : anglais et tamoul, contrat à distance
Testez des modèles et des agents d’IA conversationnelle afin de détecter leurs vulnérabilités grâce à des sondages adversariaux et à une analyse structurée en red team. Créez des cas d’attaque, des données sur les vulnérabilités et des rapports reproductibles pour les clients du laboratoire d’IA de Mercor.
Description
- Sonder des modèles et des agents d’IA conversationnelle à l’aide de jailbreaks, d’injections de prompts, de scénarios d’utilisation abusive, d’exploitation des biais et de manipulations sur plusieurs tours
- Créer des données annotées par des humains en documentant les échecs, en catégorisant les vulnérabilités et en identifiant les risques systémiques
- Utiliser des taxonomies, des benchmarks et des playbooks établis afin de garantir la cohérence des évaluations
- Élaborer pour les clients des rapports reproductibles, des jeux de données et des cas d’attaque
- Évaluer les résultats de l’IA portant sur les biais, la désinformation, les comportements nuisibles et d’autres sujets sensibles
- Identifier les faiblesses que les tests automatisés pourraient manquer
- Élargir la couverture des évaluations et contribuer à prévenir les problèmes inattendus en production
- Améliorer les systèmes d’IA des clients et contribuer à des modèles plus sûrs et plus fiables
Exigences
- Maîtrise de niveau natif de l’anglais et du tamoul
- Bon jugement dans l’évaluation du langage et du contenu
- Capacité à déterminer si les réponses de l’IA sont exactes, complètes et appropriées, et à expliquer cette évaluation
- Grande attention aux erreurs subtiles, aux incohérences et aux omissions
- Capacité à appliquer les directives et les standards de qualité avec constance
- Communication claire du raisonnement auprès de publics techniques et non techniques
- Souplesse entre différents projets, formats de tâches et clients
- Souhaité : expérience en apprentissage automatique adversarial avec des jeux de données de jailbreak, des injections de prompts, des attaques RLHF ou DPO, ou de l’extraction de modèles
- Souhaité : expérience en cybersécurité dans les tests d’intrusion, le développement d’exploits ou l’ingénierie inverse
- Souhaité : expérience des risques sociotechniques, notamment le sondage du harcèlement et de la désinformation, l’analyse des abus ou les tests d’IA conversationnelle
- Souhaité : expérience du sondage créatif en psychologie, en jeu d’acteur ou en écriture
- Le travail doit être effectué en tant que prestataire indépendant
- Les candidats titulaires d’un visa H-1B ou du statut STEM OPT ne sont pas pris en charge
Avantages
- Travail entièrement à distance
- Horaires flexibles avec la possibilité de définir ses propres heures
- Paiements hebdomadaires via Stripe ou Wise
- Rémunération horaire compétitive
- Possibilité d’acquérir de l’expérience en red teaming de l’IA fondé sur des données humaines et axé sur la sécurité de pointe
- Contribution directe à des systèmes d’IA plus robustes, sûrs et dignes de confiance
- Participation facultative à des projets à plus forte sensibilité
- Directives et ressources de bien-être pour les projets impliquant du contenu sensible
- Aménagements raisonnables disponibles sur demande
- Programme de recommandation offrant jusqu’à 90 USD par recommandation réussie, sous réserve des limites applicables