51 – 200 Zaměstnanci
Dostupný profil společnosti Mercor neobsahuje dostatek ověřených informací o jejích produktech, službách, zákaznících, odvětví ani zaměření náboru, aby bylo možné připravit přesný přehled. K popisu podnikání společnosti nebo jejích příležitostí jsou zapotřebí další podklady.
Expert na bezpečnost AI – angličtina a ásámština | vzdálený kontrakt Mercor
Provádějte adversariální testování špičkových modelů AI zaměřené na jailbreaky, zkreslení, zneužití a další bezpečnostní rizika. Vytvářejte anotace lidských dat, klasifikace zranitelností a reprodukovatelné důkazy útoků pro zákazníky Mercor.
Popis
- Provádět adversariální testování konverzačních modelů a agentů AI zaměřené na jailbreaky, prompt injection, zneužití, využití zkreslení a vícekrokovou manipulaci
- Vytvářet anotace lidských dat, klasifikovat selhání a identifikovat systémová rizika
- Využívat zavedené taxonomie, benchmarky a postupy ke standardizaci hodnocení
- Dodávat zákazníkům reprodukovatelné zprávy, datové sady a případy útoků
- Posuzovat odpovědi AI týkající se zkreslení, dezinformací, škodlivého chování a dalších citlivých témat
- Odhalovat slabá místa, která automatizované testování nezachytí
- Rozšiřovat pokrytí hodnocení a pomáhat předcházet neočekávaným problémům v produkčním prostředí
- Zlepšovat systémy AI zákazníků pomocí strukturovaného adversariálního testování
Požadavky
- Rodilá znalost angličtiny a ásámštiny
- Dobrý úsudek při hodnocení jazyka a obsahu z hlediska přesnosti, úplnosti a vhodnosti
- Schopnost odhalovat jemné chyby, nesrovnalosti a opomenutí
- Důsledné dodržování pokynů a standardů kvality
- Jasné vysvětlování úvah technickému i netechnickému publiku
- Flexibilita při práci na různých projektech, formátech úkolů a podle potřeb zákazníků
- Výhodou: zkušenosti s adversariálním strojovým učením, včetně jailbreakových datových sad, prompt injection, útoků RLHF nebo DPO či extrakce modelů
- Výhodou: zkušenosti s kyberbezpečností, penetračním testováním, vývojem exploitů nebo reverzním inženýrstvím
- Výhodou: zkušenosti se sociotechnickými riziky, včetně zkoumání obtěžování nebo dezinformací, analýzy zneužití či testování konverzační AI
- Výhodou: zkušenosti z psychologie, herectví nebo psaní podporující nekonvenční adversariální myšlení
- Nutnost pracovat jako nezávislý dodavatel
- Kandidáti s vízy H-1B a STEM OPT nejsou podporováni
Benefity
- Plně vzdálená práce
- Volba vlastního pracovního rozvrhu
- Týdenní platby prostřednictvím Stripe nebo Wise
- Praktické zkušenosti s red teamingem AI založeným na datech vytvořených lidmi
- Možnost pomáhat vytvářet odolnější, bezpečnější a důvěryhodnější systémy AI
- Práce s předními výzkumníky
- Na vyžádání jsou k dispozici přiměřená přizpůsobení
- Odměny za doporučení až 90 USD za úspěšná doporučení