Эксперт по безопасности ИИ (английский и каннада) — удалённый контракт в США
Mercor ищет специалиста по красному тестированию ИИ, свободно владеющего английским и каннада, для проверки передовых моделей на уязвимости. Работа включает создание воспроизводимых атак, оценочных наборов данных и отчётов о рисках для проектов обучения ИИ на данных, размеченных людьми.
Описание
- Тестировать разговорные модели и ИИ-агентов с помощью джейлбрейков, внедрения промптов, сценариев неправомерного использования, эксплуатации предвзятости и многоходовых манипуляций
- Создавать разметку данных, документируя сбои, классифицируя уязвимости и выявляя системные риски
- Использовать established таксономии, бенчмарки и плейбуки для обеспечения единообразия оценок
- Готовить воспроизводимые отчёты для клиентов, наборы данных и атакующие сценарии
- Оценивать ответы ИИ по чувствительным темам, включая предвзятость, дезинформацию и вредоносное поведение
- Исследовать ИИ-системы на наличие слабых мест, которые могут быть не выявлены автоматизированным тестированием
- Расширять охват оценок, чтобы снизить вероятность неожиданных проблем в продуктивной среде
- Поддерживать обучение и совершенствование передовых моделей для лаборатории ИИ Mercor и корпоративных клиентов
Требования
- Свободное владение английским и каннада на уровне носителя
- Здравое суждение при оценке точности, полноты и уместности ответов ИИ
- Навыки ясной коммуникации для объяснения хода рассуждений технической и нетехнической аудитории
- Предельная внимательность к незначительным ошибкам, несоответствиям и пропускам
- Последовательность в применении таксономий, бенчмарков, плейбуков, руководств и стандартов качества
- Готовность работать над разными проектами, форматами заданий и с разными клиентами
- Способность работать в качестве независимого подрядчика
- Не требуется спонсорство H-1B или STEM OPT; эти варианты спонсорства не поддерживаются
- Преимуществом будет релевантный опыт в состязательном машинном обучении, кибербезопасности, социотехнических рисках, тестировании разговорного ИИ, психологии, актёрском мастерстве или нестандартном состязательном письме
Преимущества
- Полностью удалённая работа с возможностью самостоятельно выбирать график
- Еженедельные выплаты через Stripe или Wise за оказанные услуги
- Возможность самостоятельно выбирать участие в проектах с контентом повышенной чувствительности
- Доступ к понятным рекомендациям и ресурсам для поддержания благополучия при работе с чувствительным контентом
- Конкурентное вознаграждение
- Получение практического опыта в красном тестировании ИИ на основе данных, размеченных людьми
- Сотрудничество с ведущими исследователями
- Возможность запросить разумные условия при необходимости
- Реферальные выплаты до 90 долларов за каждого успешно привлечённого кандидата