Эксперт по безопасности ИИ — английский и маратхи (удалённый контракт)
Mercor ищет эксперта по безопасности ИИ, свободно владеющего английским и маратхи, для поиска уязвимостей в разговорных системах ИИ. Контрактная работа посвящена adversarial-тестированию, анализу уязвимостей и подготовке понятных отчётов для проектов по сбору данных людьми и передовым моделям ИИ.
Описание
- Тестировать разговорные модели и агентов ИИ на уязвимость к обходу ограничений, внедрению промптов, сценариям злоупотребления, эксплуатации предвзятости и многоходовым манипуляциям
- Создавать наборы данных, подготовленные людьми, размечая сбои, классифицируя уязвимости и выявляя системные риски
- Использовать утверждённые таксономии, бенчмарки и руководства для обеспечения единообразия оценок
- Предоставлять воспроизводимые примеры атак, наборы данных и отчёты для клиентов
- Оценивать ответы ИИ на чувствительные темы, включая предвзятость, дезинформацию и вредоносное поведение
- Выявлять слабые места, которые могут оставаться незамеченными при автоматизированной оценке
- Расширять охват тестирования, помогая предотвращать неожиданные проблемы в рабочих системах
- Помогать клиентам повышать безопасность, устойчивость и надёжность их систем ИИ
- Сотрудничать с ведущими исследователями в инициативах по обучению и развитию передовых моделей ИИ
Требования
- Родной или свободный английский и маратхи
- Здравое суждение при оценке языка и контента
- Умение определять, являются ли ответы ИИ точными, полными и уместными, и ясно объяснять выводы
- Внимательность к тонким ошибкам, несоответствиям и пропускам
- Надёжное соблюдение рекомендаций по тестированию и требований к качеству
- Умение ясно объяснять ход рассуждений технической и нетехнической аудитории
- Готовность работать над разными проектами, задачами и с разными клиентами
- Умение работать в качестве независимого подрядчика
- Отсутствие необходимости в спонсорстве визы H-1B или STEM OPT
- Желательно: опыт adversarial machine learning, включая наборы данных для обхода ограничений, внедрение промптов, атаки RLHF/DPO или извлечение моделей
- Желательно: опыт в кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или обратную инженерию
- Желательно: опыт оценки социотехнических рисков, включая исследование домогательств или дезинформации, анализ злоупотреблений или тестирование разговорного ИИ
- Желательно: опыт в психологии, актёрском мастерстве или писательстве, способствующий нестандартному мышлению при поиске уязвимостей
Преимущества
- Полностью удалённая работа по контракту
- Гибкий график с возможностью самостоятельно выбирать рабочие часы
- Еженедельные выплаты через Stripe или Wise
- Срок проекта может измениться или проект может завершиться раньше в зависимости от потребностей бизнеса и результатов работы
- Необязательное участие в проектах, связанных с контентом повышенной чувствительности
- Чёткие рекомендации и ресурсы для поддержания благополучия при работе с чувствительным контентом
- Разумные условия адаптации доступны по запросу
- Реферальные выплаты до 90 долларов за каждого успешного кандидата