DI saugos red team ekspertas – anglų ir tamilų kalbos, nuotolinis darbas pagal sutartį
Testuokite pokalbių DI modelius ir agentus, ieškodami pažeidžiamumų pasitelkiant priešišką testavimą ir struktūruotą red team analizę. Kurkite atakų atvejus, pažeidžiamumų duomenis ir atkuriamas ataskaitas „Mercor“ DI laboratorijos klientams.
Aprašymas
- Testuokite pokalbių DI modelius ir agentus naudodami jailbreak metodus, komandų injekcijas, netinkamo naudojimo scenarijus, šališkumo išnaudojimą ir kelių etapų manipuliaciją
- Kurkite žmonių sužymėtus duomenis dokumentuodami nesėkmes, skirstydami pažeidžiamumus į kategorijas ir nustatydami sistemines rizikas
- Naudokite nustatytas taksonomijas, lyginamuosius rodiklius ir metodikas, kad vertinimai būtų nuoseklūs
- Renkite klientams atkuriamas ataskaitas, duomenų rinkinius ir atakų atvejus
- Vertinkite DI išvestis, susijusias su šališkumu, klaidinga informacija, žalingu elgesiu ir kitomis jautriomis temomis
- Nustatykite silpnąsias vietas, kurių gali nepastebėti automatizuotas testavimas
- Plėskite vertinimo aprėptį ir padėkite išvengti netikėtų problemų gamybinėje aplinkoje
- Tobulinkite klientų DI sistemas ir prisidėkite prie saugesnių bei patikimesnių modelių kūrimo
Reikalavimai
- Gimtojo lygio anglų ir tamilų kalbų mokėjimas
- Pagrįstas sprendimas vertinant kalbą ir turinį
- Gebėjimas nustatyti, ar DI atsakymai yra tikslūs, išsamūs ir tinkami, bei paaiškinti vertinimą
- Atidus dėmesys subtilioms klaidoms, neatitikimams ir praleidimams
- Gebėjimas nuosekliai taikyti gaires ir kokybės standartus
- Gebėjimas aiškiai paaiškinti samprotavimą techninei ir netechninei auditorijai
- Lankstumas dirbant su įvairiais projektais, užduočių formatais ir klientais
- Privalumas: priešiško mašininio mokymosi patirtis dirbant su jailbreak duomenų rinkiniais, komandų injekcijomis, RLHF ar DPO atakomis arba modelių išgavimu
- Privalumas: kibernetinio saugumo patirtis atliekant įsiskverbimo testus, kuriant išnaudojimus arba vykdant atvirkštinę inžineriją
- Privalumas: s sociotechninėmis rizikomis susijusi patirtis, pavyzdžiui, priekabiavimo ir dezinformacijos tyrimas, piktnaudžiavimo analizė ar pokalbių DI testavimas
- Privalumas: kūrybinio testavimo patirtis psichologijos, vaidybos ar rašymo srityse
- Būtina dirbti kaip nepriklausomam rangovui
- H-1B ir STEM OPT kandidatams parama neteikiama
Privalumai
- Visiškai nuotolinis darbas
- Lankstus grafikas, leidžiantis pačiam nustatyti darbo valandas
- Savaitiniai mokėjimai per „Stripe“ arba „Wise“
- Konkurencingas valandinis atlygis
- Galimybė įgyti patirties atliekant žmogaus duomenimis grindžiamą DI red team testavimą, orientuotą į pažangiausią saugą
- Tiesioginis indėlis į patikimesnių, saugesnių ir patikimesnių DI sistemų kūrimą
- Galimybė pasirinktinai dalyvauti didesnio jautrumo projektuose
- Gairės ir gerovės ištekliai projektams, kuriuose nagrinėjamas jautrus turinys
- Paprašius gali būti suteiktos tinkamos pritaikymo priemonės
- Rekomendacijų programa, pagal kurią už kiekvieną sėkmingą rekomendaciją galima gauti iki 90 JAV dolerių, taikant rekomendacijų limitus