ActiveFence er et selskap innen cybersikkerhet og kunstig intelligens med fokus på tillit og sikkerhet for nettplattformer. Selskapets helhetlige løsning kombinerer etterretningsarbeid, AI-drevet oppdagelse av skadelig innhold og verktøy for innholdsmoderering, slik at plattformer kan håndtere risikoer som seksuell utnyttelse av barn, desinformasjon, hatefulle ytringer, terrorisme, nakenhet, svindel og andre former for skade på nettet. ActiveFence hjelper tillits- og sikkerhetsteam av ulik størrelse med å beskytte mer enn tre milliarder brukere over hele verden på over 100 språk.
Senior AI-forsker – hybridarbeid i Israel
Lede evaluering av forsterkningslæring, red teaming og sikkerhetsrevisjoner av AI-modeller med åpne vekter. Bygge benchmark- og ettertreningspipelines for ActiveFences arbeid med AI-tillit, sikkerhet og trygghet.
Beskrivelse
- Lede evalueringer etter trening, red-team-øvelser og revisjoner av forsterkningslæringsmiljøer for modeller med åpne vekter
- Utforme grundige benchmarkmetoder
- Vurdere store språkmodeller mot sofistikerte trusler, inkludert angrep med indirekte promptinjeksering
- Bygge pipelines for evaluering etter trening som måler realistiske sikkerhetsevner på frontier-nivå
- Gjennomføre eksperimenter etter trening, som GRPO, med generalistmodeller med åpne vekter i sikkerhetsfokuserte miljøer for forsterkningslæring
- Undersøke løpende tapskurver og utrullingsspor for å oppdage belønningsmanipulering, treg policykonvergens og dårlig spesifiserte verifikatorer
- Vurdere oppgaver og flertursmiljøer med verktøybruk, webnavigering og datamaskinbruk ut fra realisme, trusselmodellens nøyaktighet, datadistribusjon og datasettbalanse
- Utarbeide evalueringskort som dekker ytelsesforbedringer mellom sjekkpunkter, feilmønstre, utrullingstoken og turer samt suksessrater på oppgavenivå
- Integrere Docker-baserte miljøer, inkludert miljøer i Harbor-format, i interne treningsrammeverk
- Forbedre semantikken for tilbakestilling og tilstandshåndtering samt begrensninger for samtidighet og gjennomstrømming
Krav
- Mastergrad eller doktorgrad i datavitenskap, maskinlæring, informatikk eller tilsvarende praktisk erfaring med dyp læring
- Praktisk erfaring med å trene storskalamodeller med algoritmer for forsterkningslæring, som GRPO eller PPO, på arkitekturer med åpne vekter
- Solid kunnskap om sårbarheter i store språkmodeller, red-teaming-praksis og defensiv alignment mot angrep med indirekte promptinjeksering
- Gode ferdigheter i PyTorch, Docker-containerisering og distribuerte treningsarkitekturer
- Evne til å tolke agenters utrullingsspor, lage deterministiske vurderingskriterier og verifikatorer samt feilsøke komplekse problemer med belønningsforming
- Erfaring med standardformater for forsterkningslæringsmiljøer, som Harbor, er en fordel
- Erfaring med å vurdere komplekse agentbaserte arbeidsflyter i miljøer med verktøybruk eller nettleser er en fordel
- Kjennskap til evaluering av Llama-lignende eller Mistral-lignende modeller med åpne vekter mot adversarielle arbeidsbelastninger er en fordel