51 – 200 Zaměstnanci
Dostupný profil společnosti Mercor neobsahuje dostatek ověřených informací o jejích produktech, službách, zákaznících, odvětví ani zaměření náboru, aby bylo možné připravit přesný přehled. K popisu podnikání společnosti nebo jejích příležitostí jsou zapotřebí další podklady.
Vzdálený odborník na bezpečnost AI (angličtina a maráthština) ve společnosti Mercor
Prověřujte konverzační modely AI z hlediska zranitelností pomocí red-teamového testování v angličtině a maráthštině. Vytvářejte reprodukovatelné datové sady, případy útoků a zprávy pro projekty bezpečnosti AI založené na datech od lidí.
Popis
- Provádět red-teamové testování konverzačních modelů a agentů AI pomocí jailbreaků, prompt injection, scénářů zneužití, využívání zaujatosti a vícekrokové manipulace
- Vytvářet data od lidí anotováním selhání, kategorizací zranitelností a identifikací systémových rizik
- Používat taxonomie, benchmarky a metodiky k zajištění konzistentního hodnocení
- Vyvíjet reprodukovatelné zprávy, datové sady a případy útoků pro zákazníky
- Posuzovat výstupy AI týkající se citlivých témat, včetně zaujatosti, dezinformací a škodlivého chování
- Identifikovat slabiny, které může automatizované testování přehlédnout
- Rozšiřovat rozsah hodnocení a pomáhat tak předcházet neočekávaným problémům v produkčním prostředí
- Podporovat zákazníky při zvyšování bezpečnosti, odolnosti a důvěryhodnosti jejich systémů AI
Požadavky
- Vyžaduje se plynulá nebo rodilá znalost angličtiny a maráthštiny
- Správný úsudek o jazyce a obsahu, včetně schopnosti posoudit, zda jsou odpovědi AI přesné, úplné a vhodné, a vysvětlit své zdůvodnění
- Mimořádná pozornost k jemným chybám, nesrovnalostem a opomenutím
- Důsledné dodržování zavedených pokynů a standardů kvality
- Jasné sdělování zdůvodnění technickému i netechnickému publiku
- Schopnost přizpůsobit se různým projektům, formátům úkolů a zákazníkům
- Je nutné pracovat jako nezávislý dodavatel
- Kandidáti s vízem H1-B a statusem STEM OPT nejsou podporováni
- Výhodou jsou zkušenosti s adversariálním strojovým učením, včetně jailbreakových datových sad, prompt injection, útoků RLHF nebo DPO či extrakce modelů
- Výhodou jsou zkušenosti s kybernetickou bezpečností, včetně penetračního testování, vývoje exploitů nebo reverzního inženýrství
- Výhodou jsou zkušenosti se sociotechnickými riziky, včetně testování odolnosti vůči obtěžování nebo dezinformacím, analýzy zneužití či testování konverzační AI
- Výhodou jsou zkušenosti z psychologie, herectví nebo psaní, které podporují nekonvenční adversariální myšlení
Benefity
- Plně vzdálená práce
- Flexibilní rozvrh s možností zvolit si pracovní dobu
- Týdenní platby prostřednictvím Stripe nebo Wise na základě poskytnutých služeb
- Délka projektu může být prodloužena, zkrácena nebo předčasně ukončena podle obchodních potřeb a pracovních výsledků
- Zdroje pro podporu duševní pohody a jasné pokyny pro projekty zahrnující obsah s vyšší mírou citlivosti
- Na vyžádání jsou k dispozici přiměřená opatření
- Referral program nabízí až 90 USD za každé úspěšné doporučení bez omezení počtu doporučení
- Příležitost spolupracovat s předními výzkumníky
- Zkušenost s prováděním red-teamového testování AI založeného na datech od lidí na špici bezpečnosti AI