Эксперт по безопасности ИИ (английский и тамильский языки) — удалённый контракт
Mercor ищет эксперта по безопасности ИИ, владеющего английским и тамильским языками, для красного тестирования разговорных моделей и агентов. Контрактная работа включает выявление уязвимостей, создание данных для оценки и подготовку воспроизводимых отчётов по безопасности.
Описание
- Проводить состязательное тестирование разговорных моделей и агентов ИИ с использованием джейлбрейков, инъекций промптов, сценариев неправильного использования, эксплуатации предвзятости и многоходовых манипуляций.
- Создавать данные, подготовленные людьми, аннотируя сбои, классифицируя уязвимости и выявляя системные риски.
- Использовать проверенные таксономии, бенчмарки и методические руководства для обеспечения единообразия оценок.
- Предоставлять клиентам воспроизводимые отчёты, наборы данных и примеры атак.
- Оценивать ответы ИИ на чувствительные темы, включая предвзятость, дезинформацию и вредоносное поведение.
- Выявлять слабые места, которые могут оставаться незамеченными при автоматизированной оценке.
- Расширять охват оценок, чтобы помочь свести к минимуму неожиданные проблемы в рабочих средах.
- Улучшать системы ИИ клиентов с помощью структурированного состязательного тестирования.
Требования
- Свободное владение английским и тамильским языками на уровне родного языка.
- Здравое суждение при оценке языка и контента.
- Умение определять, являются ли ответы ИИ точными, полными и уместными, и объяснять ход рассуждений.
- Высокая внимательность к тонким ошибкам, несоответствиям и пропускам.
- Последовательное соблюдение руководств и стандартов качества.
- Умение ясно объяснять ход рассуждений как технической, так и нетехнической аудитории.
- Адаптивность при работе над разными проектами, форматами заданий и с разными клиентами.
- Возможность работать в качестве независимого подрядчика.
- Кандидаты с визой H-1B и статусом STEM OPT не поддерживаются.
- Желательно: опыт в состязательном машинном обучении, включая наборы данных для джейлбрейков, инъекции промптов, атаки RLHF или DPO либо извлечение моделей.
- Желательно: опыт в кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или обратную разработку.
- Желательно: опыт работы с социотехническими рисками, включая исследование домогательств или дезинформации, анализ злоупотреблений или тестирование разговорного ИИ.
- Желательно: опыт творческого зондирования в психологии, актёрском мастерстве или писательстве.
Преимущества
- Полностью удалённая работа.
- Гибкий график с возможностью самостоятельно выбирать рабочие часы.
- Еженедельные выплаты через Stripe или Wise.
- Возможность по желанию участвовать в проектах с повышенной чувствительностью.
- Чёткие рекомендации и ресурсы для поддержки благополучия при работе с чувствительным контентом.
- Конкурентная почасовая оплата.
- Возможность сотрудничать с ведущими исследователями.
- Реферальные выплаты до 90 долларов США за каждого успешного реферала с учётом применимых ограничений.
- Разумные условия для адаптации доступны по запросу.