ActiveFence er en virksomhed inden for cybersikkerhed og kunstig intelligens med fokus på tillid og sikkerhed for onlineplatforme. Virksomhedens samlede løsning kombinerer efterretningsarbejde, AI-drevet registrering af skadeligt indhold og værktøjer til indholdsmoderering, så platforme kan håndtere risici som seksuel udnyttelse af børn, desinformation, hadefuld tale, terrorisme, nøgenhed, svindel og andre former for skade online. ActiveFence hjælper tillids- og sikkerhedsteams af forskellig størrelse med at beskytte mere end tre milliarder brugere verden over på over 100 sprog.
Senior AI-forsker – hybridarbejde i Israel
Lede evaluering af reinforcement learning, red teaming og sikkerhedsrevisioner af AI-modeller med åbne vægte. Opbygge benchmark- og eftertræningspipelines til ActiveFences arbejde med AI-tillid, sikkerhed og tryghed.
Beskrivelse
- Lede evalueringer efter træning, red-team-øvelser og revisioner af reinforcement learning-miljøer for modeller med åbne vægte
- Udforme stringente benchmarkmetoder
- Vurdere store sprogmodeller mod sofistikerede trusler, herunder angreb med indirekte promptinjektion
- Opbygge pipelines til evaluering efter træning, der måler realistiske sikkerhedsevner på frontierniveau
- Gennemføre eksperimenter efter træning, såsom GRPO, med generalistmodeller med åbne vægte i sikkerhedsfokuserede reinforcement learning-miljøer
- Undersøge aktuelle tabskurver og rollout-spor for at opdage reward hacking, doven policy-konvergens og dårligt specificerede verifikatorer
- Vurdere opgaver og flertursmiljøer med værktøjsbrug, webnavigation og computerbrug ud fra realisme, trusselsmodellens nøjagtighed, datadistribution og datasætbalance
- Udarbejde evalueringskort, der dækker præstationsforbedringer mellem checkpoints, fejltilstande, rollout-tokens og ture samt succesrater på opgaveniveau
- Integrere Docker-baserede miljøer, herunder miljøer i Harbor-format, i interne træningsframeworks
- Forbedre semantikken for nulstilling og tilstandshåndtering samt begrænsninger for samtidighed og gennemløb
Krav
- Kandidatgrad eller ph.d. i datalogi, machine learning, datalogi og teknologi eller tilsvarende praktisk erfaring med deep learning
- Praktisk erfaring med træning af storskalamodeller med reinforcement learning-algoritmer som GRPO eller PPO på arkitekturer med åbne vægte
- Stærk viden om sårbarheder i store sprogmodeller, red-teaming-praksis og defensiv alignment mod angreb med indirekte promptinjektion
- Gode færdigheder i PyTorch, Docker-containerisering og distribuerede træningsarkitekturer
- Evne til at fortolke agenters rollout-spor, oprette deterministiske vurderingskriterier og verifikatorer samt fejlfinde komplekse problemer med belønningsformning
- Erfaring med standardformater for reinforcement learning-miljøer som Harbor er en fordel
- Erfaring med vurdering af komplekse agentbaserede workflows i miljøer med værktøjsbrug eller webbrowser er en fordel
- Kendskab til evaluering af Llama-lignende eller Mistral-lignende modeller med åbne vægte mod adversarielle arbejdsbelastninger er en fordel