51 – 200 Employés
Les informations disponibles sur Mercor ne contiennent pas suffisamment de données vérifiées sur ses produits, services, clients, secteur ou orientation en matière de recrutement pour permettre une présentation exacte de l’entreprise. Des sources supplémentaires sont nécessaires avant de décrire l’activité de l’entreprise ou ses opportunités.
Expert en sécurité de l’IA : anglais et bengali (contrat à distance)
Mercor recherche un spécialiste du red teaming en sécurité de l’IA, parlant anglais et bengali, pour identifier les vulnérabilités des systèmes d’IA conversationnelle. Le poste consiste à produire des cas d’attaque reproductibles et des données générées par des humains pour des laboratoires d’IA qui entraînent des modèles de pointe.
Description
- Tester des modèles et des agents d’IA conversationnelle à l’aide de jailbreaks, d’injections de prompts, de scénarios d’usage abusif, d’exploitation des biais et de manipulations sur plusieurs échanges
- Créer des données générées par des humains en annotant les défaillances, en catégorisant les vulnérabilités et en identifiant les risques systémiques
- Utiliser des taxonomies, des benchmarks et des guides établis afin de garantir la cohérence des évaluations
- Fournir aux clients des rapports, des jeux de données et des cas d’attaque reproductibles
- Évaluer les réponses de l’IA concernant les biais, la désinformation, les comportements nuisibles et d’autres sujets sensibles
- Élargir la couverture des évaluations et contribuer à renforcer les systèmes d’IA des clients
Exigences
- Maîtrise native ou courante de l’anglais et du bengali
- Bon jugement dans l’évaluation du langage et du contenu, notamment la capacité à déterminer si les réponses de l’IA sont exactes, complètes et appropriées, et à expliquer cette évaluation
- Grande attention aux erreurs subtiles, aux incohérences et aux omissions
- Respect fiable des consignes de test et des normes de qualité
- Communication claire du raisonnement auprès de publics techniques et non techniques
- Volonté de s’adapter à différents projets, formats de tâches et clients
- Capacité à travailler en tant que prestataire indépendant
- Ne pas avoir besoin d’un parrainage H-1B ou STEM OPT
- Expérience en apprentissage automatique adversarial avec des jeux de données de jailbreak, l’injection de prompts, des attaques RLHF/DPO ou l’extraction de modèles appréciée
- Expérience en cybersécurité dans les tests d’intrusion, le développement d’exploits ou la rétro-ingénierie appréciée
- Expérience des risques sociotechniques, notamment l’analyse du harcèlement ou de la désinformation, l’analyse des abus ou les tests d’IA conversationnelle appréciée
- Expérience en psychologie, en art dramatique ou en écriture favorisant une pensée adversariale non conventionnelle appréciée
Avantages
- Travailler entièrement à distance
- Définir un emploi du temps flexible et travailler selon ses disponibilités
- Recevoir des paiements hebdomadaires via Stripe ou Wise
- Choisir de participer ou non à des projets plus sensibles
- Bénéficier de consignes claires et de ressources de bien-être pour les missions portant sur des contenus sensibles
- Recevoir une rémunération compétitive
- Acquérir de l’expérience en red teaming de l’IA fondé sur des données générées par des humains
- Collaborer avec des chercheurs de premier plan en IA
- Recevoir jusqu’à 90 USD de prime pour chaque recommandation réussie