ActiveFence je spoločnosť pôsobiaca v oblasti kybernetickej bezpečnosti a umelej inteligencie, ktorá sa zameriava na dôveryhodnosť a bezpečnosť online platforiem. Jej komplexné riešenie spája výskum spravodajských informácií, detekciu škodlivého obsahu využívajúcu umelú inteligenciu a nástroje na moderovanie obsahu, aby platformám pomohlo riešiť riziká, ako sú sexuálne zneužívanie detí, dezinformácie, nenávistné prejavy, terorizmus, nahota, podvody a ďalšie formy online škôd. ActiveFence podporuje tímy zodpovedné za dôveryhodnosť a bezpečnosť rôznej veľkosti a pomáha chrániť viac než tri miliardy používateľov na celom svete vo viac ako 100 jazykoch.
Seniorný výskumník v oblasti AI – hybridne v Izraeli
Budeš viesť hodnotenie posilňovaného učenia, red teaming a bezpečnostné audity otvorených AI modelov. Budeš vytvárať benchmarky a post-trainingové pipeline pre prácu ActiveFence v oblasti dôveryhodnosti, bezpečnosti a ochrany AI.
Popis
- Viesť post-trainingové hodnotenia, red-teamové cvičenia a audity prostredí pre posilňované učenie otvorených modelov
- Navrhovať dôsledné metodiky benchmarkingu
- Hodnotiť veľké jazykové modely voči sofistikovaným hrozbám vrátane útokov typu Indirect Prompt Injection
- Vytvárať post-trainingové hodnotiace pipeline, ktoré merajú realistické bezpečnostné schopnosti na úrovni najmodernejších modelov
- Vykonávať post-trainingové experimenty, napríklad GRPO, s otvorenými všeobecnými modelmi v bezpečnostne zameraných prostrediach posilňovaného učenia
- Analyzovať priebežné krivky straty a stopy rolloutov s cieľom odhaliť manipuláciu s odmenou, lenivú konvergenciu politiky a nesprávne špecifikované verifikátory
- Hodnotiť úlohy a viacotáčkové prostredia zahŕňajúce používanie nástrojov, navigáciu na webe a prácu s počítačom z hľadiska realistickosti, presnosti modelu hrozieb, distribúcie dát a vyváženosti datasetu
- Vytvárať hodnotiace karty zahŕňajúce zlepšenia výkonu checkpointov, režimy zlyhania, počet tokenov a kôl rolloutov a úspešnosť na úrovni úloh
- Integrovať kontajnerizované prostredia Docker vrátane prostredí vo formáte Harbor do interných tréningových frameworkov
- Zlepšovať sémantiku resetovania a zachovania stavu, súbežnosť a limity priepustnosti
Požiadavky
- Magisterské alebo doktorandské vzdelanie v oblasti dátovej vedy, strojového učenia, informatiky alebo ekvivalentné praktické skúsenosti s deep learningom
- Praktické skúsenosti s trénovaním rozsiahlych modelov pomocou algoritmov posilňovaného učenia, ako sú GRPO alebo PPO, na otvorených architektúrach
- Výborná znalosť zraniteľností LLM, postupov red teamingu a defenzívneho alignmentu proti útokom typu Indirect Prompt Injection
- Pokročilá znalosť PyTorch, kontajnerizácie pomocou Dockeru a architektúr distribuovaného trénovania
- Schopnosť interpretovať stopy rolloutov agentov, vytvárať deterministické rubriky a verifikátory a ladiť zložité problémy tvarovania odmeny
- Skúsenosti so štandardnými formátmi prostredí pre posilňované učenie, ako je Harbor, sú výhodou
- Skúsenosti s hodnotením komplexných agentických pracovných postupov v prostrediach s používaním nástrojov alebo webového prehliadača sú výhodou
- Znalosť hodnotenia otvorených modelov podobných modelom Llama alebo Mistral na adversariálnych úlohách je výhodou