51 – 200 Anställda
Mercors tillgängliga profil innehåller inte tillräckligt med verifierad information om företagets produkter, tjänster, kunder, bransch eller rekryteringsfokus för att möjliggöra en korrekt företagsöversikt. Mer källmaterial behövs innan verksamheten eller dess möjligheter kan beskrivas.
Expert på red teaming av AI-säkerhet – engelska och tamil, distansbaserat uppdrag
Testa konversationsbaserade AI-modeller och agenter för sårbarheter genom kontradiktorisk testning och strukturerad red-team-analys. Skapa attackfall, sårbarhetsdata och reproducerbara rapporter för Mercors AI-labskunder.
Beskrivning
- Testa konversationsbaserade AI-modeller och agenter med hjälp av jailbreaks, promptinjektioner, missbruksscenarier, utnyttjande av partiskhet och manipulation över flera turer
- Skapa människomärkt data genom att dokumentera fel, kategorisera sårbarheter och identifiera systemiska risker
- Använd etablerade taxonomier, riktmärken och spelböcker för konsekventa utvärderingar
- Ta fram reproducerbara rapporter, dataset och attackfall för kunder
- Bedöm AI-utdata som rör partiskhet, desinformation, skadligt beteende och andra känsliga ämnen
- Identifiera svagheter som automatiserade tester kan missa
- Bredda utvärderingstäckningen och bidra till att förebygga oväntade problem i produktion
- Förbättra kundernas AI-system och bidra till säkrare och mer tillförlitliga modeller
Krav
- Modersmålsnivå i både engelska och tamil
- Gott omdöme vid bedömning av språk och innehåll
- Förmåga att avgöra om AI-svar är korrekta, fullständiga och lämpliga samt att förklara bedömningen
- Noggrann uppmärksamhet på subtila fel, inkonsekvenser och utelämnanden
- Förmåga att konsekvent tillämpa riktlinjer och kvalitetsstandarder
- Tydlig kommunikation av resonemang till tekniska och icke-tekniska målgrupper
- Flexibilitet mellan projekt, uppgiftsformat och kunder
- Meriterande: erfarenhet av adversariell maskininlärning med jailbreak-dataset, promptinjektion, RLHF- eller DPO-attacker eller modellextraktion
- Meriterande: bakgrund inom cybersäkerhet med penetrationstestning, exploitutveckling eller reverse engineering
- Meriterande: erfarenhet av sociotekniska risker, såsom testning av trakasserier och desinformation, missbruksanalys eller testning av konversationsbaserad AI
- Meriterande: erfarenhet av kreativ testning inom psykologi, skådespeleri eller skrivande
- Måste arbeta som självständig uppdragstagare
- Kandidater med H-1B och STEM OPT stöds inte
Förmåner
- Helt distansbaserat arbete
- Flexibla arbetstider med möjlighet att själv bestämma dina arbetstimmar
- Veckovisa betalningar via Stripe eller Wise
- Konkurrenskraftig timlön
- Möjlighet att få erfarenhet av människodatadriven red teaming av AI med fokus på frontiersäkerhet
- Direkt bidrag till mer robusta, säkra och tillförlitliga AI-system
- Möjlighet att delta i projekt med högre känslighetsnivå
- Riktlinjer och resurser för välbefinnande i projekt som omfattar känsligt innehåll
- Rimliga anpassningar kan erbjudas på begäran
- Hänvisningsprogram med upp till 90 USD per godkänd hänvisning, med förbehåll för hänvisningsgränser