Эксперт по безопасности ИИ — английский и бенгальский языки (удалённый контракт)
Mercor ищет специалиста по тестированию безопасности ИИ, свободно владеющего английским и бенгальским языками, для выявления уязвимостей разговорных ИИ-систем. Работа включает создание воспроизводимых атак и данных, подготовленных людьми, для лабораторий, обучающих передовые модели.
Описание
- Тестировать разговорные модели и агентов ИИ с помощью джейлбрейков, внедрения промптов, сценариев неправомерного использования, эксплуатации предвзятости и многоходовых манипуляций
- Создавать данные, подготовленные людьми, размечая сбои, классифицируя уязвимости и выявляя системные риски
- Использовать established таксономии, бенчмарки и руководства, чтобы поддерживать единообразие оценок
- Предоставлять клиентам воспроизводимые отчёты, наборы данных и атакующие сценарии
- Оценивать ответы ИИ, связанные с предвзятостью, дезинформацией, вредоносным поведением и другими чувствительными темами
- Расширять охват оценок и содействовать созданию более надёжных ИИ-систем для клиентов
Требования
- Свободное или носительское владение английским и бенгальским языками
- Здравое суждение при оценке языка и содержания, включая способность определять точность, полноту и уместность ответов ИИ и объяснять свою оценку
- Высокая внимательность к незначительным ошибкам, несоответствиям и пропускам
- Надёжное соблюдение рекомендаций по тестированию и стандартов качества
- Умение ясно объяснять ход рассуждений технической и нетехнической аудитории
- Готовность адаптироваться к разным проектам, форматам заданий и клиентам
- Способность работать в качестве независимого подрядчика
- Не требуется спонсорство визы H-1B или STEM OPT
- Желательно: опыт в состязательном машинном обучении, включая наборы данных для джейлбрейков, внедрение промптов, атаки RLHF/DPO или извлечение моделей
- Желательно: опыт в кибербезопасности, включая тестирование на проникновение, разработку эксплойтов или обратную разработку
- Желательно: опыт в социотехнических рисках, включая исследование харассмента или дезинформации, анализ злоупотреблений или тестирование разговорного ИИ
- Желательно: опыт в психологии, актёрском мастерстве или писательстве, способствующий нестандартному состязательному мышлению
Преимущества
- Полностью удалённая работа
- Гибкий график в соответствии с вашей доступностью
- Еженедельные выплаты через Stripe или Wise
- Возможность выбирать участие в проектах с повышенной чувствительностью
- Доступ к понятным инструкциям и ресурсам для поддержания благополучия при работе с чувствительным контентом
- Конкурентоспособная компенсация
- Получение опыта в тестировании безопасности ИИ с использованием данных, созданных людьми
- Сотрудничество с ведущими исследователями ИИ
- Реферальные выплаты до $90 за каждого успешного приглашённого кандидата