51 – 200 Zaměstnanci
Dostupný profil společnosti Mercor neobsahuje dostatek ověřených informací o jejích produktech, službách, zákaznících, odvětví ani zaměření náboru, aby bylo možné připravit přesný přehled. K popisu podnikání společnosti nebo jejích příležitostí jsou zapotřebí další podklady.
Expert na red teaming bezpečnosti AI (angličtina a pandžábština)
Mercor hledá odborníka na bezpečnost AI se znalostí angličtiny a pandžábštiny pro red teaming konverzačních modelů a agentů. Tato smluvní role se zaměřuje na odhalování zranitelností, vytváření útočných scénářů a přípravu reprodukovatelných bezpečnostních zpráv pro výzkumné zákazníky v oblasti AI.
Popis
- Testovat konverzační modely a agenty pomocí jailbreaků, injektáže promptů, scénářů zneužití, využívání předpojatosti a vícekrokové manipulace
- Vyhodnocovat výstupy modelů na citlivá témata včetně předpojatosti, dezinformací a škodlivého chování
- Dokumentovat selhání, kategorizovat zranitelnosti a identifikovat systémová rizika
- Používat zavedené taxonomie, benchmarky a playbooky k zajištění konzistentního hodnocení
- Vytvářet reprodukovatelné zprávy, datové sady a útočné scénáře pro zákazníky
- Zkoumat systémy AI z hlediska slabin, které může automatizované testování přehlédnout
- Rozšiřovat rozsah hodnocení s cílem omezit neočekávané problémy v produkčním prostředí
- Zlepšovat systémy AI zákazníků pomocí red teamingu vedeného lidmi a založeného na datech
Požadavky
- Rodilá nebo plynulá znalost angličtiny a pandžábštiny
- Dobrý úsudek při hodnocení jazyka a obsahu
- Schopnost určit, zda jsou odpovědi AI přesné, úplné a vhodné, a své hodnocení vysvětlit
- Mimořádná pozornost k jemným chybám, nesrovnalostem a opomenutím
- Důsledné dodržování pokynů pro testování a standardů kvality
- Schopnost srozumitelně vysvětlit své uvažování technickému i netechnickému publiku
- Flexibilita při práci na různých projektech, formátech úkolů a pro různé zákazníky
- Ochota pracovat jako nezávislý dodavatel
- Nesmí být vyžadována podpora víz H-1B nebo STEM OPT
- Výhodou mohou být znalosti adversariálního strojového učení, datových sad jailbreaků, injektáže promptů, útoků RLHF/DPO, extrakce modelů, penetračního testování, vývoje exploitů, reverzního inženýrství, testování obtěžování nebo dezinformací, analýzy zneužití, testování konverzační AI, psychologie, herectví nebo psaní
Benefity
- Práce na dálku z libovolného místa povoleného podmínkami této role
- Možnost samostatně si plánovat pracovní dobu
- Týdenní platby prostřednictvím Stripe nebo Wise za poskytnuté služby
- Projekty mohou být prodlouženy, omezeny nebo předčasně ukončeny podle obchodních potřeb a pracovních výsledků
- Přístup ke zdrojům podporujícím duševní pohodu a jasným pokynům pro projekty s vyšší mírou citlivosti
- Získání zkušeností s red teamingem AI založeným na datech od lidí
- Možnost pomáhat zvyšovat odolnost, bezpečnost a důvěryhodnost systémů AI
- Konkurenční odměna
- Spolupráce s předními výzkumníky AI