Эксперт по безопасности ИИ — английский и пенджаби
Удалённая контрактная работа для экспертов по безопасности ИИ, свободно владеющих английским и пенджаби, в проектах Mercor по красному тестированию разговорного ИИ. Тестируйте джейлбрейки, инъекции промптов, риски вредоносного контента и уязвимости моделей, документируя воспроизводимые результаты.
Описание
- Проводить состязательное тестирование разговорных моделей и ИИ-агентов с использованием джейлбрейков, инъекций промптов, сценариев неправомерного использования, эксплуатации предвзятости и многошаговых манипуляций
- Создавать данные, сгенерированные людьми, размечая сбои, классифицируя уязвимости и выявляя системные риски
- Применять установленные таксономии, бенчмарки и методические руководства для обеспечения единообразия оценок
- Готовить для клиентов воспроизводимые отчёты, наборы данных и сценарии атак
- Оценивать ответы ИИ на предмет предвзятости, дезинформации, вредоносного поведения и других рисков, связанных с чувствительным контентом
- Выявлять слабые места, которые могут быть упущены автоматизированными оценками
- Расширять охват оценок, чтобы помогать ограничивать неожиданные проблемы в продуктивной среде
- Улучшать системы ИИ клиентов с помощью структурированного состязательного тестирования
Требования
- Свободное владение английским и пенджаби на уровне носителя
- Здравое суждение при оценке языка и контента
- Способность определять, являются ли ответы ИИ точными, полными и уместными, и объяснять эту оценку
- Высокая внимательность к незначительным ошибкам, несоответствиям и пропускам
- Последовательное соблюдение рекомендаций и стандартов качества
- Чёткое объяснение рассуждений технической и нетехнической аудитории
- Способность адаптироваться к разным проектам, форматам заданий и клиентам
- Статус независимого подрядчика
- Не должен быть кандидатом на визу H-1B или программу STEM OPT
- Желательно: опыт в состязательном машинном обучении, включая наборы данных для джейлбрейков, инъекции промптов, атаки RLHF/DPO или извлечение моделей
- Желательно: опыт в кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или обратную разработку
- Желательно: опыт в области социотехнических рисков, включая исследование притеснений или дезинформации, анализ злоупотреблений или тестирование разговорного ИИ
- Желательно: опыт в психологии, актёрском мастерстве или писательстве, способствующий нестандартному состязательному мышлению
Преимущества
- Полностью удалённая работа
- Гибкий график с возможностью работать по собственному расписанию
- Еженедельные выплаты через Stripe или Wise
- Проекты могут быть продлены, сокращены или завершены досрочно в зависимости от потребностей бизнеса и результатов работы
- Необязательное участие в проектах с повышенной чувствительностью
- Предоставляются рекомендации по работе с контентом и ресурсы для поддержания благополучия
- Конкурентоспособная оплата
- По запросу доступны разумные условия адаптации
- Выплаты за рекомендации до 90 долларов США за каждого успешного кандидата с учётом ограничений программы рекомендаций