Удалённый эксперт по безопасности ИИ (английский и гуджарати) — контракт
Mercor ищет внештатного эксперта по безопасности ИИ, свободно владеющего английским и гуджарати, для проведения атакующих проверок передовых моделей ИИ. Работа включает тестирование уязвимостей, оценку сбоев и создание воспроизводимых наборов данных и сценариев атак.
Описание
- Тестировать разговорные модели и агентов ИИ на наличие джейлбрейков, внедрения промптов, сценариев неправомерного использования, эксплуатации предвзятости и многошаговых манипуляций
- Создавать данные, подготовленные людьми, аннотируя сбои, классифицируя уязвимости и выявляя системные риски
- Использовать установленные таксономии, бенчмарки и руководства для проведения последовательных оценок
- Разрабатывать воспроизводимые отчёты для клиентов, наборы данных и сценарии атак
- Оценивать ответы ИИ на наличие проблем, связанных с предвзятостью, дезинформацией и вредоносным поведением
- Выявлять слабые места, которые не обнаруживает автоматизированное тестирование
- Расширять охват оценок, чтобы помогать предотвращать неожиданные проблемы в производственной среде
- Участвовать в проектах по обучению и улучшению передовых систем ИИ
Требования
- Свободное владение английским и гуджарати на уровне носителя
- Здравое суждение при оценке языка и контента на точность, полноту и уместность
- Способность выявлять тонкие ошибки, несоответствия и пропуски
- Последовательное соблюдение установленных руководств и стандартов качества
- Чёткое объяснение своих рассуждений технической и нетехнической аудитории
- Готовность работать над разными проектами, форматами задач и потребностями клиентов
- Работа в качестве независимого подрядчика
- Кандидаты с визой H-1B и статусом STEM OPT не могут участвовать
- Желательно: опыт в состязательном машинном обучении, включая наборы данных для джейлбрейков, внедрение промптов, атаки RLHF/DPO или извлечение моделей
- Желательно: опыт в кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или обратную разработку
- Желательно: опыт оценки социотехнических рисков, включая проверку на домогательства или дезинформацию, анализ злоупотреблений или тестирование разговорного ИИ
- Желательно: опыт в психологии, актёрском мастерстве или писательстве, способствующий нестандартному атакующему мышлению
Преимущества
- Удалённая работа из США
- Гибкий график в соответствии с вашей доступностью
- Еженедельные выплаты через Stripe или Wise
- Возможность участвовать или не участвовать в проектах с повышенной чувствительностью
- Доступ к понятным инструкциям и ресурсам для поддержания благополучия при работе с чувствительным контентом
- Конкурентная почасовая оплата
- Разумные условия адаптации по запросу
- Возможность получать до 90 долларов США за каждого успешного реферала с учётом применимых ограничений