Эксперт по red teaming безопасности ИИ (английский и пенджаби)
Проводите состязательное тестирование разговорных моделей и ИИ-агентов на английском и пенджаби. Создавайте аннотации уязвимостей, сценарии атак, датасеты и воспроизводимые отчёты по безопасности для проектов Mercor в области ИИ-безопасности на основе человеческих данных.
Описание
- Проверять разговорные модели и ИИ-агентов с помощью джейлбрейков, инъекций промптов, сценариев неправильного использования, эксплуатации предвзятости и многоходовых манипуляций
- Создавать аннотации на основе человеческих данных, документируя сбои, классифицируя уязвимости и выявляя системные риски
- Использовать established таксономии, бенчмарки и плейбуки для единообразной оценки
- Предоставлять клиентам воспроизводимые отчёты, датасеты и сценарии атак
- Оценивать ответы ИИ, связанные с предвзятостью, дезинформацией, вредоносным поведением и другими чувствительными темами
- Расширять охват оценки, чтобы выявлять уязвимости, которые автоматизированное тестирование может упустить
- Помогать повышать безопасность, устойчивость и надёжность клиентских ИИ-систем
Требования
- Свободное владение английским и пенджаби или знание этих языков на уровне носителя
- Здравое суждение при оценке точности, полноты и уместности контента, созданного ИИ
- Умение выявлять тонкие ошибки, несоответствия и пропуски
- Последовательное соблюдение руководств, таксономий, бенчмарков, плейбуков и стандартов качества
- Умение ясно объяснять ход рассуждений технической и нетехнической аудитории
- Гибкость при работе над разными проектами, форматами задач и требованиями клиентов
- Возможность работать в качестве независимого подрядчика
- Кандидаты с визами H1-B и STEM OPT не поддерживаются
- Будет полезен опыт в состязательном машинном обучении, датасетах джейлбрейков, атаках с инъекциями промптов или RLHF/DPO, извлечении моделей, тестировании на проникновение, разработке эксплойтов, обратной инженерии, исследовании домогательств или дезинформации, анализе злоупотреблений, тестировании разговорного ИИ, психологии, актёрском мастерстве или нестандартном состязательном письме
Преимущества
- Полностью удалённая работа с гибким самостоятельным планированием графика
- Еженедельные выплаты через Stripe или Wise
- Конкурентоспособное вознаграждение
- Ресурсы для поддержания благополучия и чёткие рекомендации для проектов с повышенной чувствительностью
- По запросу доступны разумные условия адаптации
- Реферальные выплаты до 90 долларов США за каждого успешного кандидата
- Возможности сотрудничества с ведущими исследователями
- Практический опыт red teaming ИИ на основе человеческих данных на переднем крае безопасности ИИ