51 – 200 Zaměstnanci
Dostupný profil společnosti Mercor neobsahuje dostatek ověřených informací o jejích produktech, službách, zákaznících, odvětví ani zaměření náboru, aby bylo možné připravit přesný přehled. K popisu podnikání společnosti nebo jejích příležitostí jsou zapotřebí další podklady.
Expert na bezpečnost AI (angličtina a tamilština) — práce na dálku na smlouvu
Mercor hledá odborníka na bezpečnost AI se znalostí angličtiny a tamilštiny pro red-team testování konverzačních modelů a agentů. Práce na smlouvu se zaměřuje na odhalování zranitelností, tvorbu evaluačních dat a přípravu reprodukovatelných bezpečnostních zpráv.
Popis
- Provádět adversariální testování konverzačních modelů a agentů AI pomocí jailbreaků, prompt injection, scénářů zneužití, využívání zkreslení a vícekrokové manipulace.
- Vytvářet data připravená lidmi anotováním selhání, kategorizací zranitelností a identifikací systémových rizik.
- Používat zavedené taxonomie, benchmarky a metodiky k zajištění konzistentního hodnocení.
- Dodávat zákazníkům reprodukovatelné zprávy, datové sady a případy útoků.
- Posuzovat výstupy AI týkající se citlivých témat včetně zkreslení, dezinformací a škodlivého chování.
- Identifikovat slabiny, které mohou automatizované metody hodnocení přehlédnout.
- Rozšiřovat pokrytí hodnocení s cílem pomoci minimalizovat neočekávané problémy v produkčním prostředí.
- Zlepšovat systémy AI zákazníků prostřednictvím strukturovaného adversariálního testování.
Požadavky
- Rodilá nebo plynulá znalost angličtiny a tamilštiny.
- Správný úsudek při hodnocení jazyka a obsahu.
- Schopnost určit, zda jsou odpovědi AI přesné, úplné a vhodné, a vysvětlit své zdůvodnění.
- Velká pozornost k jemným chybám, nesrovnalostem a opomenutím.
- Důsledné dodržování pokynů a standardů kvality.
- Schopnost jasně komunikovat zdůvodnění technickému i netechnickému publiku.
- Přizpůsobivost při práci na různých projektech, formátech úkolů a pro různé zákazníky.
- Schopnost pracovat jako nezávislý dodavatel.
- Kandidáti s vízem H-1B a statusem STEM OPT nejsou podporováni.
- Výhodou: zkušenosti s adversariálním strojovým učením, včetně datasetů jailbreaků, prompt injection, útoků RLHF nebo DPO či extrakce modelů.
- Výhodou: zkušenosti s kyberbezpečností, včetně penetračního testování, vývoje exploitů nebo reverzního inženýrství.
- Výhodou: zkušenosti se sociotechnickými riziky, včetně zkoumání obtěžování nebo dezinformací, analýzy zneužití či testování konverzační AI.
- Výhodou: zkušenosti s kreativním zkoumáním v psychologii, herectví nebo psaní.
Benefity
- Plně vzdálená práce.
- Flexibilní rozvržení s možností nastavit si vlastní pracovní dobu.
- Týdenní platby prostřednictvím Stripe nebo Wise.
- Možnost dobrovolné účasti na projektech s vyšší citlivostí.
- Jasné pokyny a zdroje pro podporu duševní pohody při práci s citlivým obsahem.
- Konkurenceschopná hodinová mzda.
- Příležitost spolupracovat s předními výzkumníky.
- Odměny za doporučení až 90 USD za každé úspěšné doporučení, s výhradou příslušných limitů.
- Přiměřené úpravy jsou k dispozici na vyžádání.