ActiveFence je podjetje za kibernetsko varnost in umetno inteligenco, ki se osredotoča na zaupanje in varnost spletnih platform. Njegova celovita ponudba združuje obveščevalne raziskave, zaznavanje škodljive vsebine s pomočjo umetne inteligence in orodja za moderiranje vsebin, da platformam pomaga obvladovati tveganja, kot so spolno izkoriščanje otrok, dezinformacije, sovražni govor, terorizem, golota, goljufije in druge oblike spletne škode. ActiveFence podpira ekipe za zaupanje in varnost različnih velikosti ter pomaga varovati več kot tri milijarde uporabnikov po vsem svetu v več kot 100 jezikih.
Višji raziskovalec na področju umetne inteligence – hibridno delo v Izraelu
Vodili boste vrednotenje učenja z okrepitvijo, red teaming in varnostne revizije odprtih modelov umetne inteligence. Izdelovali boste primerjalna merila in cevovode za naknadno učenje za delo podjetja ActiveFence na področju zaupanja, varnosti in zaščite umetne inteligence.
Opis
- Vodenje vrednotenj po učenju, red-team vaj in revizij okolij za učenje z okrepitvijo za odprte modele
- Načrtovanje strogih metodologij primerjalnega testiranja
- Ocenjevanje velikih jezikovnih modelov glede na prefinjene grožnje, vključno z napadi vrste Indirect Prompt Injection
- Izdelava cevovodov za vrednotenje po učenju, ki merijo realistične varnostne zmogljivosti na ravni najsodobnejših modelov
- Izvajanje poskusov po učenju, kot je GRPO, z odprtimi splošnimi modeli v varnostno usmerjenih okoljih za učenje z okrepitvijo
- Preučevanje krivulj izgube v živo in sledi izvajanja za zaznavanje goljufanja z nagrado, lenobne konvergence politike in neustrezno opredeljenih preverjevalnikov
- Ocenjevanje nalog in večkoračnih okolij, ki vključujejo uporabo orodij, spletno navigacijo in uporabo računalnika, glede realističnosti, natančnosti modela groženj, porazdelitve podatkov in uravnoteženosti nabora podatkov
- Izdelava ocenjevalnih kartic, ki zajemajo izboljšave zmogljivosti kontrolnih točk, načine odpovedi, žetone in poteze izvajanja ter stopnje uspešnosti na ravni nalog
- Vključevanje okolij Docker, vključno z okolji v formatu Harbor, v notranja ogrodja za učenje
- Izboljševanje semantike ponastavitve in ohranjanja stanja, sočasnosti ter omejitev prepustnosti
Zahteve
- Magisterij ali doktorat iz podatkovne znanosti, strojnega učenja, računalništva ali enakovredne praktične izkušnje z globokim učenjem
- Praktične izkušnje z učenjem velikih modelov z algoritmi učenja z okrepitvijo, kot sta GRPO ali PPO, na odprtih arhitekturah
- Dobro poznavanje ranljivosti LLM, praks red teaminga in obrambnega usklajevanja proti napadom vrste Indirect Prompt Injection
- Odlično znanje PyTorcha, kontejnerizacije z Dockerjem in arhitektur porazdeljenega učenja
- Sposobnost interpretacije sledi izvajanja agentov, izdelave determinističnih meril in preverjevalnikov ter odpravljanja zapletenih težav pri oblikovanju nagrade
- Izkušnje s standardnimi formati okolij za učenje z okrepitvijo, kot je Harbor, so prednost
- Izkušnje z ocenjevanjem zapletenih agentskih potekov dela v okoljih za uporabo orodij ali spletnih brskalnikov so prednost
- Poznavanje vrednotenja odprtih modelov, podobnih modelom Llama ali Mistral, glede na nasprotniške obremenitve je prednost