ActiveFence är ett företag inom cybersäkerhet och artificiell intelligens med fokus på förtroende och säkerhet för onlineplattformar. Företagets heltäckande erbjudande kombinerar underrättelsearbete, AI-driven upptäckt av skadligt innehåll och verktyg för innehållsmoderering, så att plattformar kan hantera risker som sexuellt utnyttjande av barn, desinformation, hatpropaganda, terrorism, nakenhet, bedrägerier och andra former av skada online. ActiveFence hjälper förtroende- och säkerhetsteam av olika storlek att skydda mer än tre miljarder användare världen över på över 100 språk.
Senior AI-forskare – hybridarbete i Israel
Leda utvärdering av förstärkningsinlärning, red teaming och säkerhetsgranskningar av AI-modeller med öppna vikter. Bygga benchmark- och efterträningspipelines för ActiveFences arbete med AI-tillit, säkerhet och trygghet.
Beskrivning
- Leda utvärderingar efter träning, red-team-övningar och granskningar av förstärkningsinlärningsmiljöer för modeller med öppna vikter
- Utforma rigorösa benchmarkmetoder
- Bedöma stora språkmodeller mot sofistikerade hot, inklusive attacker med indirekt promptinjektion
- Bygga pipelines för utvärdering efter träning som mäter realistiska säkerhetsförmågor på frontiernivå
- Genomföra experiment efter träning, såsom GRPO, med generalistmodeller med öppna vikter i säkerhetsfokuserade miljöer för förstärkningsinlärning
- Granska aktuella förlustkurvor och utrullningsspår för att upptäcka belöningshackning, trög policykonvergens och bristfälligt specificerade verifierare
- Bedöma uppgifter och flerstegsmiljöer med verktygsanvändning, webbnavigering och datoranvändning utifrån realism, hotmodellens träffsäkerhet, datadistribution och datasetbalans
- Ta fram utvärderingskort som omfattar prestandavinster mellan kontrollpunkter, fellägen, utrullningstoken och turer samt framgångsfrekvenser på uppgiftsnivå
- Integrera Dockeriserade miljöer, inklusive miljöer i Harbor-format, i interna träningsramverk
- Förbättra semantiken för återställning och tillståndshantering samt begränsningar för samtidighet och genomströmning
Krav
- Masterexamen eller doktorsexamen i datavetenskap, maskininlärning, datavetenskap och teknik eller motsvarande praktisk erfarenhet av djupinlärning
- Praktisk erfarenhet av att träna storskaliga modeller med förstärkningsinlärningsalgoritmer som GRPO eller PPO på arkitekturer med öppna vikter
- Goda kunskaper om sårbarheter i stora språkmodeller, red-teaming-metoder och defensiv alignment mot attacker med indirekt promptinjektion
- Goda kunskaper i PyTorch, Docker-containerisering och arkitekturer för distribuerad träning
- Förmåga att tolka agenters utrullningsspår, skapa deterministiska bedömningsmatriser och verifierare samt felsöka komplexa problem med belöningsformning
- Erfarenhet av standardiserade format för förstärkningsinlärningsmiljöer, såsom Harbor, är meriterande
- Erfarenhet av att bedöma komplexa agentbaserade arbetsflöden i miljöer med verktygsanvändning eller webbläsare är meriterande
- Kännedom om att utvärdera Llama-liknande eller Mistral-liknande modeller med öppna vikter mot adversariella arbetsbelastningar är meriterande