51 – 200 Zaměstnanci
Dostupný profil společnosti Mercor neobsahuje dostatek ověřených informací o jejích produktech, službách, zákaznících, odvětví ani zaměření náboru, aby bylo možné připravit přesný přehled. K popisu podnikání společnosti nebo jejích příležitostí jsou zapotřebí další podklady.
Expert na red teaming bezpečnosti AI — angličtina a tamilština, práce na dálku na smlouvu
Testujte konverzační modely a agenty AI na zranitelnosti pomocí adversariálního testování a strukturované red team analýzy. Vytvářejte scénáře útoků, data o zranitelnostech a reprodukovatelné zprávy pro zákazníky laboratoře AI Mercor.
Popis
- Testovat konverzační modely a agenty AI pomocí jailbreaků, prompt injection, scénářů zneužití, využívání zaujatosti a vícekolové manipulace
- Vytvářet lidmi označená data dokumentováním selhání, kategorizací zranitelností a identifikací systémových rizik
- Používat zavedené taxonomie, benchmarky a playbooky k zajištění konzistentního hodnocení
- Vytvářet reprodukovatelné zprávy, datové sady a scénáře útoků pro zákazníky
- Posuzovat výstupy AI týkající se zaujatosti, dezinformací, škodlivého chování a dalších citlivých témat
- Identifikovat slabiny, které může automatizované testování přehlédnout
- Rozšiřovat pokrytí hodnocení a pomáhat předcházet neočekávaným problémům v produkčním prostředí
- Zlepšovat systémy AI zákazníků a přispívat k bezpečnějším a spolehlivějším modelům
Požadavky
- Plynulá znalost angličtiny a tamilštiny na úrovni rodilého mluvčího
- Zdravý úsudek při hodnocení jazyka a obsahu
- Schopnost určit, zda jsou odpovědi AI přesné, úplné a vhodné, a své hodnocení vysvětlit
- Pečlivá pozornost k jemným chybám, nesrovnalostem a opomenutím
- Schopnost důsledně uplatňovat pokyny a standardy kvality
- Jasná komunikace odůvodnění technickému i netechnickému publiku
- Flexibilita při práci na různých projektech, v různých formátech úkolů a pro různé zákazníky
- Výhodou: zkušenost s adversariálním strojovým učením, včetně jailbreakových datových sad, prompt injection, útoků RLHF nebo DPO či extrakce modelů
- Výhodou: vzdělání nebo praxe v kybernetické bezpečnosti, včetně penetračního testování, vývoje exploitů nebo reverzního inženýrství
- Výhodou: zkušenost se sociotechnickými riziky, jako je testování obtěžování a dezinformací, analýza zneužití nebo testování konverzační AI
- Výhodou: zkušenost s kreativním sondováním v psychologii, herectví nebo psaní
- Je nutné pracovat jako nezávislý dodavatel
- Kandidáti s vízy H-1B a STEM OPT nejsou podporováni
Benefity
- Plně vzdálená práce
- Flexibilní rozvržení s možností nastavit si vlastní pracovní dobu
- Týdenní platby prostřednictvím Stripe nebo Wise
- Konkurenceschopná hodinová odměna
- Možnost získat zkušenosti s red teamingem AI založeným na datech vytvořených lidmi a zaměřeným na bezpečnost pokročilých systémů
- Přímý příspěvek k odolnějším, bezpečnějším a důvěryhodnějším systémům AI
- Možnost dobrovolně se účastnit projektů s vyšší citlivostí
- Pokyny a zdroje pro podporu duševní pohody u projektů zahrnujících citlivý obsah
- Přiměřená opatření jsou k dispozici na vyžádání
- Doporučovací program nabízí až 90 USD za každé úspěšné doporučení, s výhradou limitů programu