Эксперт по безопасности ИИ (английский и гуджарати) — удалённый контракт
Проводите оценки разговорных моделей и агентов ИИ методом red team для Mercor — партнёра ИИ-лабораторий, занимающегося обучением передовых систем. Создавайте данные об уязвимостях, сценарии атак и воспроизводимые отчёты по безопасности.
Описание
- Тестируйте разговорные модели и агентов ИИ с помощью джейлбрейков, инъекций промптов, сценариев неправильного использования, эксплуатации предвзятости и многошаговых манипуляций
- Создавайте данные с разметкой специалистов, аннотируя сбои, классифицируя уязвимости и выявляя системные риски
- Используйте проверенные таксономии, бенчмарки и плейбуки для обеспечения единообразия оценок
- Разрабатывайте воспроизводимые отчёты, наборы данных и сценарии атак
- Оценивайте ответы ИИ, связанные с предвзятостью, дезинформацией, вредоносным поведением и другими чувствительными темами
- Выявляйте слабые места, которые могут быть упущены при автоматизированном тестировании
- Расширяйте охват оценок, чтобы помогать ограничивать непредвиденные проблемы в рабочей среде
- Улучшайте клиентские ИИ-системы с помощью ясных и воспроизводимых материалов оценки
Требования
- Свободное владение английским и гуджарати на уровне носителя или близком к нему
- Здравое суждение при оценке языка и содержания
- Умение определять, являются ли ответы ИИ точными, полными и уместными, и объяснять свою оценку
- Внимательность к тонким ошибкам, несоответствиям и пропускам
- Последовательное соблюдение рекомендаций и требований к качеству
- Умение ясно объяснять ход рассуждений технической и нетехнической аудитории
- Гибкость при работе над разными проектами, форматами заданий и с разными клиентами
- Желательна экспертиза в области состязательного машинного обучения, кибербезопасности, социотехнических рисков или творческого поиска уязвимостей
- Готовность работать в качестве независимого подрядчика
- Кандидаты с визой H-1B и статусом STEM OPT не поддерживаются
Преимущества
- Полностью удалённая работа
- Самостоятельный выбор рабочего графика
- Еженедельные выплаты через Stripe или Wise
- Конкурентоспособная почасовая оплата
- Возможность участвовать в проектах, связанных с контентом повышенной чувствительности
- Доступ к понятным рекомендациям и ресурсам для поддержания благополучия при работе с чувствительным контентом
- При необходимости доступны разумные условия адаптации
- Реферальные выплаты до 90 долларов США за каждого успешного привлечённого кандидата