Эксперт по безопасности ИИ — английский и маратхи (удалённо)
Mercor ищет экспертов по безопасности ИИ, владеющих английским и маратхи, для проведения red team-тестирования разговорных моделей и агентов. Работа включает выявление уязвимостей, оценку чувствительных ответов и создание воспроизводимых данных по безопасности для ИИ-лабораторий и клиентов.
Описание
- Проводить red team-тестирование разговорных моделей и агентов ИИ с использованием джейлбрейков, внедрения промптов, сценариев неправильного использования, эксплуатации предвзятости и многошаговых манипуляций
- Создавать данные для оценки людьми, размечая сбои, классифицируя уязвимости и выявляя системные риски
- Использовать устоявшиеся таксономии, бенчмарки и руководства для последовательного проведения оценок
- Разрабатывать воспроизводимые отчёты, наборы данных и примеры атак для клиентов
- Оценивать ответы ИИ, связанные с предвзятостью, дезинформацией, вредоносным поведением и другими чувствительными темами
- Выявлять уязвимости, которые автоматизированное тестирование может не обнаружить
- Расширять охват оценок, чтобы минимизировать неожиданные проблемы в продуктивной среде
- Помогать клиентам повышать безопасность, устойчивость и надёжность их систем ИИ
Требования
- Свободное владение английским и маратхи на уровне носителя языка
- Здравое суждение при оценке языка и контента, включая точность, полноту и уместность ответов ИИ
- Способность выявлять тонкие ошибки, несоответствия и пропуски
- Способность последовательно соблюдать руководства и стандарты качества
- Способность ясно объяснять ход рассуждений технической и нетехнической аудитории
- Адаптивность при работе над разными проектами, типами задач и с разными клиентами
- Способность работать в качестве независимого подрядчика
- Не требуется поддержка H-1B или STEM OPT
- Желательно: опыт в области состязательного машинного обучения, включая наборы данных для джейлбрейков, атаки с внедрением промптов, атаки RLHF или DPO либо извлечение моделей
- Желательно: опыт в сфере кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или реверс-инжиниринг
- Желательно: опыт в области социотехнических рисков, включая исследование домогательств или дезинформации, анализ злоупотреблений или тестирование разговорного ИИ
- Желательно: опыт в психологии, актёрском мастерстве или написании текстов, способствующий нестандартному состязательному мышлению
Преимущества
- Полностью удалённая работа, которую можно выполнять по собственному графику
- Еженедельные выплаты через Stripe или Wise
- Возможность участвовать в проектах с повышенной чувствительностью
- Чёткие руководства и ресурсы для поддержания благополучия при работе с чувствительным контентом
- Конкурентоспособная оплата
- Возможность сотрудничать с ведущими исследователями
- Реферальные выплаты до 90 долларов США за каждого успешного кандидата при соблюдении ограничений