51 – 200 Zamestnanci
Dostupný profil spoločnosti Mercor neobsahuje dostatok overených informácií o jej produktoch, službách, zákazníkoch, odvetví ani náborovom zameraní, aby bolo možné vytvoriť presný prehľad o spoločnosti. Pred opísaním podnikania alebo pracovných príležitostí sú potrebné ďalšie zdrojové materiály.
Expert na red teaming bezpečnosti AI – angličtina a tamilčina, práca na diaľku na zmluvu
Testujte konverzačné modely a agentov AI na zraniteľnosti pomocou adversariálneho skúmania a štruktúrovanej red-team analýzy. Vytvárajte útočné prípady, údaje o zraniteľnostiach a reprodukovateľné správy pre zákazníkov laboratória AI spoločnosti Mercor.
Popis
- Skúmajte konverzačné modely a agentov AI pomocou jailbreakov, prompt injection, scenárov zneužitia, využívania zaujatosti a viacotáčkovej manipulácie
- Vytvárajte ľuďmi označené údaje dokumentovaním zlyhaní, kategorizáciou zraniteľností a identifikáciou systémových rizík
- Používajte zavedené taxonómie, benchmarky a playbooky na zabezpečenie konzistentného hodnotenia
- Vytvárajte reprodukovateľné správy, datasety a útočné prípady pre zákazníkov
- Posudzujte výstupy AI týkajúce sa zaujatosti, dezinformácií, škodlivého správania a ďalších citlivých tém
- Identifikujte slabiny, ktoré môže automatizované testovanie prehliadnuť
- Rozširujte pokrytie hodnotenia a pomáhajte predchádzať neočakávaným problémom v produkcii
- Zlepšujte systémy AI zákazníkov a prispievajte k bezpečnejším a spoľahlivejším modelom
Požiadavky
- Plynulá znalosť angličtiny aj tamilčiny na úrovni rodeného hovoriaceho
- Správny úsudok pri hodnotení jazyka a obsahu
- Schopnosť určiť, či sú odpovede AI presné, úplné a primerané, a vysvetliť toto posúdenie
- Dôkladná pozornosť venovaná jemným chybám, nezrovnalostiam a vynechaniam
- Schopnosť konzistentne uplatňovať pokyny a štandardy kvality
- Jasná komunikácia uvažovania s technickým aj netechnickým publikom
- Flexibilita pri práci na rôznych projektoch, formátoch úloh a so zákazníkmi
- Výhodou: skúsenosti s adversariálnym strojovým učením vrátane datasetov jailbreakov, útokov prompt injection, RLHF alebo DPO či extrakcie modelov
- Výhodou: vzdelanie alebo prax v kybernetickej bezpečnosti v oblasti penetračného testovania, vývoja exploitov alebo reverzného inžinierstva
- Výhodou: skúsenosti so sociotechnickými rizikami, ako je skúmanie obťažovania a dezinformácií, analýza zneužitia alebo testovanie konverzačnej AI
- Výhodou: kreatívne skúsenosti so skúmaním v psychológii, herectve alebo písaní
- Je potrebné pracovať ako nezávislý dodávateľ
- Kandidáti s vízami H-1B a STEM OPT nie sú podporovaní
Benefity
- Úplne práca na diaľku
- Flexibilný pracovný čas s možnosťou nastaviť si vlastné hodiny
- Týždenné platby prostredníctvom Stripe alebo Wise
- Konkurenčná hodinová odmena
- Príležitosť získať skúsenosti s red teamingom AI založeným na ľudských údajoch a zameraným na bezpečnosť pokročilých modelov
- Priamy príspevok k odolnejším, bezpečnejším a dôveryhodnejším systémom AI
- Dobrovoľná účasť na projektoch s vyššou citlivosťou
- Pokyny a zdroje na podporu duševnej pohody pre projekty zahŕňajúce citlivý obsah
- Na požiadanie sú k dispozícii primerané úpravy pracovných podmienok
- Referenčný program s odmenou až 90 USD za každé úspešné odporúčanie podľa limitov programu