ActiveFence je společnost působící v oblasti kybernetické bezpečnosti a umělé inteligence, která se zaměřuje na důvěru a bezpečnost online platforem. Její komplexní nabídka kombinuje výzkum a analýzu, detekci škodlivého obsahu pomocí umělé inteligence a nástroje pro moderování obsahu, aby platformám pomohla řešit rizika, jako jsou sexuální zneužívání dětí, dezinformace, projevy nenávisti, terorismus, nahota, podvody a další formy škodlivého obsahu a jednání na internetu. ActiveFence podporuje týmy pro důvěru a bezpečnost různé velikosti a pomáhá chránit více než tři miliardy uživatelů po celém světě ve více než 100 jazycích.
Seniorní výzkumník AI – hybridní práce v Izraeli
Veďte evaluaci učení s posilováním, red teaming a bezpečnostní audity modelů AI s otevřenými vahami. Budujte benchmarkovací a posttréninkové pipeline pro práci společnosti ActiveFence v oblasti důvěry, bezpečnosti a zabezpečení AI.
Popis
- Vést posttréninkové evaluace, red-teamová cvičení a audity prostředí pro učení s posilováním u modelů s otevřenými vahami
- Navrhovat přísné metodiky benchmarkingu
- Posuzovat velké jazykové modely z hlediska sofistikovaných hrozeb včetně útoků typu Indirect Prompt Injection
- Budovat posttréninkové evaluační pipeline, které měří realistické bezpečnostní schopnosti na úrovni špičkových modelů
- Provádět posttréninkové experimenty, například GRPO, s obecnými modely s otevřenými vahami v bezpečnostně zaměřených prostředích pro učení s posilováním
- Zkoumat živé křivky ztráty a stopy rolloutů s cílem odhalit hackování odměny, línou konvergenci politiky a nesprávně specifikované verifikátory
- Posuzovat úlohy a vícekroková prostředí využívající nástroje, webovou navigaci a ovládání počítače z hlediska realismu, přesnosti modelu hrozeb, distribuce dat a vyváženosti datové sady
- Vytvářet evaluační karty zahrnující zlepšení výkonu checkpointů, režimy selhání, počet tokenů a tahů v rolloutech a úspěšnost na úrovni úloh
- Integrovat kontejnerizovaná prostředí Docker včetně prostředí ve formátu Harbor do interních tréninkových frameworků
- Zlepšovat sémantiku resetování a zachování stavu, souběžnost a limity propustnosti
Požadavky
- Magisterský nebo doktorský titul v oboru datové vědy, strojového učení, informatiky nebo srovnatelná praktická zkušenost s hlubokým učením
- Praktická zkušenost s trénováním rozsáhlých modelů pomocí algoritmů učení s posilováním, jako jsou GRPO nebo PPO, na architekturách s otevřenými vahami
- Dobrá znalost zranitelností LLM, postupů red teamingu a obranného alignmentu proti útokům typu Indirect Prompt Injection
- Znalost nástrojů PyTorch, kontejnerizace Docker a architektur distribuovaného trénování
- Schopnost interpretovat stopy rolloutů agentů, vytvářet deterministická hodnoticí pravidla a verifikátory a ladit komplexní problémy tvarování odměny
- Zkušenost se standardními formáty prostředí pro učení s posilováním, jako je Harbor, je výhodou
- Zkušenost s hodnocením komplexních agentních pracovních postupů v prostředích s využitím nástrojů nebo webového prohlížeče je výhodou
- Znalost hodnocení modelů s otevřenými vahami podobných modelům Llama nebo Mistral na adversariálních úlohách je výhodou