ActiveFence je tvrtka za kibernetičku sigurnost i umjetnu inteligenciju usmjerena na povjerenje i sigurnost internetskih platformi. Njezina sveobuhvatna ponuda objedinjuje obavještajno-istraživački rad, otkrivanje štetnog sadržaja uz pomoć umjetne inteligencije i alate za moderiranje sadržaja kako bi platformama pomogla u suočavanju s rizicima poput seksualnog iskorištavanja djece, dezinformacija, govora mržnje, terorizma, golotinje, prijevara i drugih oblika štete na internetu. ActiveFence podržava timove za povjerenje i sigurnost različitih veličina te pomaže zaštititi više od tri milijarde korisnika diljem svijeta na više od 100 jezika.
Viši istraživač umjetne inteligencije – hibridno u Izraelu
Vodit ćete evaluaciju učenja s potkrepljivanjem, red teaming i sigurnosne audite otvorenih AI modela. Izrađivat ćete benchmarke i cjevovode za naknadno treniranje za rad ActiveFencea na pouzdanosti, sigurnosti i zaštiti AI sustava.
Opis
- Voditi evaluacije nakon treniranja, red-team vježbe i audite okruženja za učenje s potkrepljivanjem otvorenih modela
- Osmisliti rigorozne metodologije benchmarkinga
- Procjenjivati velike jezične modele u odnosu na sofisticirane prijetnje, uključujući napade tipa Indirect Prompt Injection
- Izgraditi cjevovode za evaluaciju nakon treniranja koji mjere realistične sigurnosne sposobnosti na razini najsuvremenijih modela
- Provodi post-training eksperimente poput GRPO-a s otvorenim općim modelima u sigurnosno usmjerenim okruženjima za učenje s potkrepljivanjem
- Analizirati krivulje gubitka uživo i tragove izvođenja radi otkrivanja manipuliranja nagradom, lijene konvergencije politike i loše definiranih verifikatora
- Procjenjivati zadatke i višekoračna okruženja koja uključuju korištenje alata, web-navigaciju i rad s računalom s obzirom na realističnost, točnost modela prijetnji, distribuciju podataka i uravnoteženost skupa podataka
- Izrađivati evaluacijske kartice koje obuhvaćaju poboljšanja performansi kontrolnih točaka, načine neuspjeha, tokene i poteze izvođenja te stope uspješnosti na razini zadataka
- Integrirati Dockerizirana okruženja, uključujući okruženja u formatu Harbor, u interne okvire za treniranje
- Unaprijediti semantiku resetiranja i očuvanja stanja, konkurentnost i ograničenja propusnosti
Zahtjevi
- Magisterij ili doktorat iz podatkovne znanosti, strojnog učenja, računalnih znanosti ili ekvivalentno praktično iskustvo u dubokom učenju
- Praktično iskustvo u treniranju velikih modela algoritmima učenja s potkrepljivanjem, poput GRPO-a ili PPO-a, na otvorenim arhitekturama
- Duboko poznavanje ranjivosti LLM-ova, praksi red teaminga i obrambenog usklađivanja protiv napada tipa Indirect Prompt Injection
- Napredno znanje PyTorcha, kontejnerizacije Dockerom i arhitektura distribuiranog treniranja
- Sposobnost tumačenja tragova izvođenja agenata, izrade determinističkih rubrika i verifikatora te otklanjanja složenih problema oblikovanja nagrade
- Iskustvo sa standardnim formatima okruženja za učenje s potkrepljivanjem, poput Harbora, poželjno je
- Iskustvo u procjeni složenih agentskih tijekova rada u okruženjima za korištenje alata ili web-preglednika poželjno je
- Poznavanje evaluacije otvorenih modela nalik modelima Llama ili Mistral na adversarijalnim opterećenjima poželjno je