ActiveFence — компания в сфере кибербезопасности и искусственного интеллекта, специализирующаяся на обеспечении доверия и безопасности онлайн-платформ. Комплексное решение компании объединяет аналитические исследования, обнаружение вредоносного контента на основе ИИ и инструменты модерации контента, помогая платформам противостоять таким угрозам, как сексуальная эксплуатация детей, дезинформация, разжигание ненависти, терроризм, материалы сексуального характера, мошенничество и другие виды вредоносной активности в интернете. ActiveFence поддерживает команды, отвечающие за доверие и безопасность, независимо от их размера, помогая защищать более трёх миллиардов пользователей по всему миру на более чем 100 языках.
Старший исследователь в области ИИ — гибридный формат в Израиле
Руководите оценкой обучения с подкреплением, red teaming и аудитами безопасности открытых моделей ИИ. Создавайте конвейеры бенчмаркинга и посттренировочной обработки для работы ActiveFence в области доверия, безопасности и защищённости ИИ.
Описание
- Руководить посттренировочной оценкой, red-team-упражнениями и аудитами сред обучения с подкреплением для открытых моделей
- Разрабатывать строгие методологии бенчмаркинга
- Оценивать большие языковые модели на устойчивость к сложным угрозам, включая атаки косвенной инъекции промптов
- Создавать конвейеры посттренировочной оценки, измеряющие реалистичные возможности обеспечения безопасности на передовом уровне
- Проводить посттренировочные эксперименты, такие как GRPO, с открытыми универсальными моделями в средах обучения с подкреплением, ориентированных на безопасность
- Анализировать кривые потерь в реальном времени и трассировки развёртываний для выявления взлома функции вознаграждения, ленивой сходимости политики и некорректно заданных верификаторов
- Оценивать задачи и многошаговые среды с использованием инструментов, веб-навигации и компьютера с точки зрения реалистичности, точности модели угроз, распределения данных и сбалансированности наборов данных
- Готовить карточки оценки с данными об улучшении показателей контрольных точек, режимах отказа, количестве токенов и ходов в развёртываниях, а также показателях успеха на уровне задач
- Интегрировать контейнеризированные среды Docker, включая среды формата Harbor, во внутренние фреймворки обучения
- Улучшать семантику сброса и сохранения состояния, параллелизм и ограничения пропускной способности
Требования
- Степень магистра или доктора в области анализа данных, машинного обучения, компьютерных наук либо сопоставимый практический опыт глубокого обучения
- Практический опыт обучения крупномасштабных моделей с использованием алгоритмов обучения с подкреплением, таких как GRPO или PPO, на открытых архитектурах
- Глубокое знание уязвимостей LLM, практик red teaming и защитного выравнивания против атак косвенной инъекции промптов
- Уверенное владение PyTorch, контейнеризацией Docker и архитектурами распределённого обучения
- Умение интерпретировать трассировки развёртываний агентов, создавать детерминированные критерии и верификаторы, а также устранять сложные проблемы формирования вознаграждения
- Опыт работы со стандартными форматами сред обучения с подкреплением, такими как Harbor, будет преимуществом
- Опыт оценки сложных агентных процессов в средах с использованием инструментов или веб-браузера будет преимуществом
- Знакомство с оценкой открытых моделей, подобных Llama или Mistral, на состязательных нагрузках будет преимуществом