Удалённый эксперт по безопасности ИИ (английский и маратхи) в Mercor
Проверяйте разговорные модели ИИ на уязвимости с помощью red team-тестирования на английском и маратхи. Создавайте воспроизводимые наборы данных, сценарии атак и отчёты для проектов по безопасности ИИ на основе данных от людей.
Описание
- Проводить red team-тестирование разговорных моделей и агентов ИИ с использованием джейлбрейков, внедрения промптов, сценариев неправомерного использования, эксплуатации предвзятости и многоходовых манипуляций
- Создавать данные от людей, размечая сбои, классифицируя уязвимости и выявляя системные риски
- Использовать таксономии, бенчмарки и руководства для поддержания единообразия оценок
- Разрабатывать воспроизводимые отчёты, наборы данных и сценарии атак для клиентов
- Оценивать результаты работы ИИ по чувствительным темам, включая предвзятость, дезинформацию и вредоносное поведение
- Выявлять слабые места, которые могут быть упущены при автоматизированном тестировании
- Расширять охват оценок, чтобы помогать предотвращать неожиданные проблемы в рабочей среде
- Помогать клиентам повышать безопасность, устойчивость и надёжность их систем ИИ
Требования
- Требуется свободное или родное владение английским и маратхи
- Здравое суждение о языке и содержании, включая способность оценивать точность, полноту и уместность ответов ИИ и объяснять свои выводы
- Исключительное внимание к тонким ошибкам, несоответствиям и пропускам
- Последовательное соблюдение установленных руководств и стандартов качества
- Чёткое объяснение своих выводов как технической, так и нетехнической аудитории
- Способность адаптироваться к разным проектам, форматам заданий и клиентам
- Необходимо работать в качестве независимого подрядчика
- Кандидаты на H1-B и STEM OPT не поддерживаются
- Желательно: опыт работы с состязательным машинным обучением, включая наборы данных для джейлбрейков, внедрение промптов, атаки RLHF или DPO либо извлечение моделей
- Желательно: опыт в кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или обратную разработку
- Желательно: опыт работы с социотехническими рисками, включая проверку на устойчивость к домогательствам или дезинформации, анализ злоупотреблений или тестирование разговорного ИИ
- Желательно: опыт в психологии, актёрском мастерстве или писательстве, способствующий нестандартному состязательному мышлению
Преимущества
- Полностью удалённая работа
- Гибкий график с возможностью выбирать рабочие часы
- Еженедельные выплаты через Stripe или Wise в зависимости от выполненных услуг
- Продолжительность проекта может быть продлена, сокращена или завершена досрочно в зависимости от потребностей бизнеса и результатов работы
- Ресурсы для поддержания благополучия и чёткие рекомендации для проектов, связанных с контентом повышенной чувствительности
- Разумные условия для адаптации доступны по запросу
- Реферальная программа с выплатой до 90 долларов за каждого успешного привлечённого кандидата без ограничения количества рекомендаций
- Возможность сотрудничать с ведущими исследователями
- Опыт проведения red team-тестирования ИИ на основе данных от людей на переднем крае безопасности ИИ