ActiveFence е компания за киберсигурност и изкуствен интелект, фокусирана върху доверието и безопасността на онлайн платформите. Цялостното ѝ решение съчетава разузнавателни изследвания, откриване на вредно съдържание с помощта на изкуствен интелект и инструменти за модериране на съдържание, за да помогне на платформите да се справят с рискове като сексуална експлоатация на деца, дезинформация, реч на омразата, тероризъм, голота, измами и други форми на онлайн вреда. ActiveFence подкрепя екипи по доверие и безопасност с различен размер и помага за защитата на над три милиарда потребители по света на повече от 100 езика.
Старши изследовател в областта на изкуствения интелект – хибридна работа в Израел
Ще ръководите оценяването на обучение с подсилване, red teaming и одити на сигурността на AI модели с отворени тегла. Ще изграждате бенчмаркове и конвейери за дообучаване за работата на ActiveFence в областта на доверието, безопасността и сигурността на AI.
Описание
- Ръководене на оценки след дообучаване, red-team упражнения и одити на среди за обучение с подсилване за модели с отворени тегла
- Проектиране на строги методологии за бенчмаркинг
- Оценяване на големи езикови модели спрямо сложни заплахи, включително атаки от типа Indirect Prompt Injection
- Изграждане на конвейери за оценяване след дообучаване, които измерват реалистични способности за сигурност на ниво най-съвременни модели
- Провеждане на експерименти след дообучаване, като GRPO, с универсални модели с отворени тегла в среди за обучение с подсилване, фокусирани върху сигурността
- Анализиране на криви на загубата в реално време и следи от изпълненията за откриване на манипулиране на наградата, мързелива сходимост на политиката и неправилно специфицирани верификатори
- Оценяване на задачи и многоходови среди, включващи използване на инструменти, уеб навигация и работа с компютър, по отношение на реалистичност, точност на модела на заплахите, разпределение на данните и балансираност на набора от данни
- Създаване на карти за оценяване, обхващащи подобренията в производителността на чекпойнтите, режимите на отказ, токените и ходовете на изпълненията и успеваемостта на ниво задача
- Интегриране на Docker среди, включително среди във формат Harbor, във вътрешни рамки за обучение
- Подобряване на семантиката на нулирането и запазването на състоянието, конкурентността и ограниченията на пропускателната способност
Изисквания
- Магистърска или докторска степен по наука за данните, машинно обучение, компютърни науки или еквивалентен практически опит в дълбокото обучение
- Практически опит в обучението на мащабни модели с алгоритми за обучение с подсилване, като GRPO или PPO, върху архитектури с отворени тегла
- Задълбочени познания за уязвимостите на LLM, практиките за red teaming и защитеното подравняване срещу атаки от типа Indirect Prompt Injection
- Отлично владеене на PyTorch, контейнеризация с Docker и архитектури за разпределено обучение
- Способност за интерпретиране на следи от изпълненията на агенти, създаване на детерминистични рубрики и верификатори и отстраняване на сложни проблеми при оформянето на наградата
- Опит със стандартни формати за среди за обучение с подсилване, като Harbor, е предимство
- Опит в оценяването на сложни агентни работни процеси в среди за използване на инструменти или уеб браузър е предимство
- Познаване на оценяването на модели с отворени тегла, подобни на Llama или Mistral, спрямо враждебни натоварвания е предимство