Эксперт по безопасности ИИ — английский и ассамский | удалённый контракт Mercor
Проводите adversarial-тестирование передовых моделей ИИ на уязвимости типа jailbreak, предвзятость, злоупотребления и другие риски безопасности. Создавайте разметку данных, классификации уязвимостей и воспроизводимые свидетельства атак для клиентов Mercor.
Описание
- Проводить adversarial-тестирование разговорных моделей и агентов ИИ на уязвимости типа jailbreak, внедрение промптов, злоупотребления, эксплуатацию предвзятости и многоходовые манипуляции
- Создавать разметку данных людьми, классифицировать сбои и выявлять системные риски
- Использовать проверенные таксономии, бенчмарки и сценарии для стандартизации оценок
- Предоставлять клиентам воспроизводимые отчёты, наборы данных и примеры атак
- Оценивать ответы ИИ, связанные с предвзятостью, дезинформацией, вредоносным поведением и другими чувствительными темами
- Находить слабые места, которые не выявляются автоматизированным тестированием
- Расширять охват оценок, помогая предотвращать неожиданные проблемы в продуктивной среде
- Улучшать системы ИИ клиентов с помощью структурированного adversarial-тестирования
Требования
- Свободное владение английским и ассамским языками на уровне носителя
- Здравое суждение при оценке языка и содержания с точки зрения точности, полноты и уместности
- Умение выявлять тонкие ошибки, несоответствия и пропуски
- Последовательное соблюдение руководств и стандартов качества
- Умение ясно объяснять ход рассуждений технической и нетехнической аудитории
- Гибкость при работе над разными проектами, в различных форматах заданий и с учётом потребностей клиентов
- Желательно: опыт adversarial-машинного обучения с наборами данных для jailbreak, внедрением промптов, атаками RLHF или DPO либо извлечением моделей
- Желательно: опыт в кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или обратную разработку
- Желательно: опыт оценки социотехнических рисков, включая исследование домогательств или дезинформации, анализ злоупотреблений либо тестирование разговорного ИИ
- Желательно: опыт в психологии, актёрском мастерстве или писательстве, способствующий нестандартному adversarial-мышлению
- Необходимо работать в качестве независимого подрядчика
- Кандидаты с визами H-1B и STEM OPT не поддерживаются
Преимущества
- Полностью удалённая работа
- Самостоятельный выбор рабочего графика
- Еженедельные выплаты через Stripe или Wise
- Практический опыт проведения red teaming ИИ на основе данных, созданных людьми
- Возможность сделать системы ИИ более надёжными, безопасными и заслуживающими доверия
- Работа с ведущими исследователями
- Разумные приспособления доступны по запросу
- Реферальные выплаты до 90 долларов США за успешные рекомендации