Mercor
Mercor
51 – 200 Medewerkers
Het beschikbare profiel van Mercor bevat onvoldoende geverifieerde informatie over zijn producten, diensten, klanten, sector of focus op werving om een nauwkeurig bedrijfsoverzicht te kunnen geven. Er is meer bronmateriaal nodig voordat het bedrijf of zijn mogelijkheden kan worden beschreven.

Expert AI-veiligheid – Engels en Marathi (Remote)

Mercor zoekt AI-veiligheidsexperts die Engels en Marathi spreken om conversationele modellen en agents aan red-teamtests te onderwerpen. Het werk omvat het identificeren van kwetsbaarheden, het beoordelen van gevoelige outputs en het creëren van reproduceerbare veiligheidsdata voor AI-labs en klanten.

Beschrijving

  • Voer red-teamtests uit op conversationele AI-modellen en agents met jailbreaks, promptinjecties, misbruikscenario's, uitbuiting van vooroordelen en meerturnmanipulatie
  • Maak data voor menselijke evaluatie door fouten te annoteren, kwetsbaarheden te categoriseren en systemische risico's te identificeren
  • Gebruik gevestigde taxonomieën, benchmarks en playbooks om consistente evaluaties te ondersteunen
  • Ontwikkel reproduceerbare rapporten, datasets en aanvalsscenario's voor klanten
  • Beoordeel AI-outputs met betrekking tot vooroordelen, desinformatie, schadelijk gedrag en andere gevoelige onderwerpen
  • Identificeer kwetsbaarheden die geautomatiseerde tests mogelijk over het hoofd zien
  • Breid de evaluatiedekking uit om onverwachte problemen in productie te helpen beperken
  • Ondersteun klanten bij het verbeteren van de veiligheid, robuustheid en betrouwbaarheid van hun AI-systemen

Vereisten

  • Beheersing van zowel Engels als Marathi op moedertaalniveau
  • Sterk beoordelingsvermogen bij het evalueren van taal en inhoud, waaronder de vraag of AI-antwoorden nauwkeurig, volledig en gepast zijn
  • Vermogen om subtiele fouten, inconsistenties en omissies te signaleren
  • Vermogen om richtlijnen en kwaliteitsnormen consequent te volgen
  • Vermogen om redeneringen duidelijk over te brengen aan technische en niet-technische doelgroepen
  • Aanpassingsvermogen aan verschillende projecten, taaktypen en klanten
  • Vermogen om als zelfstandig opdrachtnemer te werken
  • Geen H-1B- of STEM OPT-ondersteuning nodig
  • Pré: ervaring met adversarial machine learning, waaronder jailbreakdatasets, promptinjectie-, RLHF- of DPO-aanvallen of model-extractie
  • Pré: ervaring in cybersecurity met penetratietests, exploitontwikkeling of reverse engineering
  • Pré: ervaring met sociaal-technische risico's, zoals onderzoek naar intimidatie of desinformatie, misbruikanalyse of testen van conversationele AI
  • Pré: ervaring met psychologie, acteren of schrijven die onconventioneel adversarieel denken ondersteunt

Voordelen

  • Volledig op afstand uit te voeren werk met een zelfgekozen planning
  • Wekelijkse betalingen via Stripe of Wise
  • Optionele deelname aan projecten met een hogere gevoeligheid
  • Duidelijke richtlijnen en hulpmiddelen voor welzijn bij werk met gevoelige inhoud
  • Concurrerende betaling
  • Mogelijkheid om samen te werken met toonaangevende onderzoekers
  • Doorverwijsvergoedingen tot 90 dollar per succesvolle doorverwijzing, onder voorbehoud van limieten

Gerelateerde vacatures