51 – 200 Zaměstnanci
Dostupný profil společnosti Mercor neobsahuje dostatek ověřených informací o jejích produktech, službách, zákaznících, odvětví ani zaměření náboru, aby bylo možné připravit přesný přehled. K popisu podnikání společnosti nebo jejích příležitostí jsou zapotřebí další podklady.
Expert na bezpečnost AI — angličtina a maráthština (práce na dálku)
Mercor hledá odborníky na bezpečnost AI, kteří ovládají angličtinu a maráthštinu, pro red teamové testování konverzačních modelů a agentů. Práce zahrnuje odhalování zranitelností, hodnocení citlivých výstupů a vytváření reprodukovatelných bezpečnostních dat pro AI laboratoře a zákazníky.
Popis
- Provádět red teamové testování konverzačních modelů a agentů AI pomocí jailbreaků, prompt injection, scénářů zneužití, využívání předpojatosti a vícekrokové manipulace
- Vytvářet data pro hodnocení lidmi pomocí anotování selhání, kategorizace zranitelností a identifikace systémových rizik
- Používat zavedené taxonomie, benchmarky a playbooky pro podporu konzistentního hodnocení
- Vytvářet reprodukovatelné zprávy, datové sady a případy útoků pro zákazníky
- Posuzovat výstupy AI týkající se předpojatosti, dezinformací, škodlivého chování a dalších citlivých témat
- Identifikovat zranitelnosti, které může automatizované testování přehlédnout
- Rozšiřovat pokrytí hodnocení s cílem pomoci minimalizovat neočekávané problémy v produkčním prostředí
- Podporovat zákazníky při zvyšování bezpečnosti, odolnosti a důvěryhodnosti jejich systémů AI
Požadavky
- Rodilá znalost angličtiny a maráthštiny
- Správný úsudek při hodnocení jazyka a obsahu, včetně toho, zda jsou odpovědi AI přesné, úplné a vhodné
- Schopnost odhalovat jemné chyby, nekonzistence a opomenutí
- Schopnost důsledně dodržovat pokyny a standardy kvality
- Schopnost jasně vysvětlovat své uvažování technickému i netechnickému publiku
- Přizpůsobivost při práci na různých projektech, typech úkolů a pro různé zákazníky
- Schopnost pracovat jako nezávislý dodavatel
- Nesmí být vyžadována podpora H-1B nebo STEM OPT
- Výhodou: zkušenosti s adversariálním strojovým učením, včetně datových sad jailbreaků, útoků pomocí prompt injection, útoků RLHF nebo DPO či extrakce modelů
- Výhodou: zkušenosti s kybernetickou bezpečností, včetně penetračního testování, vývoje exploitů nebo reverzního inženýrství
- Výhodou: zkušenosti se sociotechnickými riziky, včetně testování obtěžování nebo dezinformací, analýzy zneužití či testování konverzační AI
- Výhodou: zkušenosti z psychologie, herectví nebo psaní, které podporují nekonvenční adversariální myšlení
Benefity
- Plně vzdálená práce, kterou lze vykonávat podle vlastního rozvrhu
- Týdenní platby prostřednictvím Stripe nebo Wise
- Možnost účastnit se projektů s vyšší citlivostí
- Jasné pokyny a zdroje pro podporu duševní pohody při práci s citlivým obsahem
- Konkurenceschopné odměňování
- Možnost spolupracovat s předními výzkumníky
- Odměny za doporučení až 90 USD za každé úspěšné doporučení, s výhradou limitů