Эксперт по безопасности ИИ — английский и телугу (удалённый контракт)
Проводите red-team-тестирование разговорных моделей и ИИ-агентов для Mercor, выявляя уязвимости с помощью атакующих сценариев. Создавайте качественные датасеты, атаки и понятные отчёты с фокусом на работе моделей на английском и телугу.
Описание
- Тестировать разговорные модели и ИИ-агентов на устойчивость к обходу ограничений, внедрению промптов, сценариям неправильного использования, эксплуатации предвзятости и многошаговым манипуляциям
- Создавать данные, подготовленные экспертами: размечать сбои, классифицировать уязвимости и выявлять системные риски
- Использовать проверенные таксономии, бенчмарки и руководства для обеспечения единообразия оценок
- Разрабатывать воспроизводимые отчёты, датасеты и примеры атак
- Оценивать ответы ИИ, связанные с предвзятостью, дезинформацией, вредным поведением и другими чувствительными темами
- Выявлять слабые места, которые могут быть пропущены автоматизированными методами оценки
- Расширять охват оценок, чтобы помогать предотвращать неожиданные проблемы в продуктивной среде
- Улучшать клиентские ИИ-системы с помощью структурированного атакующего тестирования
Требования
- Свободное владение английским и телугу на уровне носителя
- Здравое суждение при оценке языка и содержания
- Умение определять, являются ли ответы ИИ точными, полными и уместными, а также объяснять ход рассуждений
- Исключительное внимание к незаметным ошибкам, несоответствиям и пропускам
- Последовательное соблюдение руководств и стандартов качества
- Умение ясно объяснять ход рассуждений технической и нетехнической аудитории
- Готовность работать над разными проектами, форматами задач и с разными заказчиками
- Возможность работать в качестве независимого подрядчика
- Не требуется спонсорство визы H-1B или STEM OPT
- Опыт в области состязательного машинного обучения, кибербезопасности, социотехнических рисков или творческого поиска уязвимостей будет преимуществом
Преимущества
- Полностью удалённая работа
- Гибкий график, соответствующий вашей доступности
- Еженедельные выплаты через Stripe или Wise
- Продолжительность проекта может измениться или проект может завершиться досрочно в зависимости от потребностей бизнеса и результатов работы
- Доступ к ресурсам для поддержки благополучия и понятным инструкциям для заданий повышенной чувствительности
- Получение опыта в red-team-тестировании ИИ на основе данных, созданных людьми
- Помощь в повышении надёжности, безопасности и доверия к ИИ-системам
- Конкурентная оплата
- Сотрудничество с ведущими исследователями
- По запросу предоставляются разумные условия адаптации