Експерт із безпеки ШІ (англійська та каннада) — віддалений контракт у США
Mercor шукає фахівця з red teaming для ШІ, який вільно володіє англійською та каннада, щоб перевіряти передові моделі на вразливості. Робота передбачає створення відтворюваних атак, наборів даних для оцінювання та звітів про ризики для проєктів навчання ШІ на даних, розмічених людьми.
Опис
- Тестувати розмовні моделі та ШІ-агентів за допомогою джейлбрейків, ін’єкцій промптів, сценаріїв неправомірного використання, експлуатації упередженості та багатоетапних маніпуляцій
- Створювати анотації даних, документуючи збої, класифікуючи вразливості та виявляючи системні ризики
- Використовувати усталені таксономії, бенчмарки та плейбуки для забезпечення послідовності оцінювань
- Готувати відтворювані звіти для клієнтів, набори даних і приклади атак
- Оцінювати відповіді ШІ на чутливі теми, зокрема упередженість, дезінформацію та шкідливу поведінку
- Досліджувати ШІ-системи на наявність слабких місць, які можуть бути непоміченими під час автоматизованого тестування
- Розширювати охоплення оцінювань, щоб допомогти зменшити кількість непередбачених проблем у продуктивному середовищі
- Підтримувати навчання та вдосконалення передових моделей для ШІ-лабораторії Mercor і корпоративних клієнтів
Вимоги
- Володіння англійською та каннада на рівні носія
- Здатність обґрунтовано оцінювати точність, повноту та доречність відповідей ШІ
- Чіткі комунікативні навички для пояснення міркувань технічній і нетехнічній аудиторії
- Надзвичайна уважність до непомітних помилок, невідповідностей і пропусків
- Послідовність у застосуванні таксономій, бенчмарків, плейбуків, інструкцій і стандартів якості
- Гнучкість у роботі над різними проєктами, форматами завдань і з різними клієнтами
- Здатність працювати як незалежний підрядник
- Необхідно не потребувати спонсорства H-1B або STEM OPT; ці варіанти спонсорства не підтримуються
- Буде перевагою релевантний досвід у змагальному машинному навчанні, кібербезпеці, соціотехнічних ризиках, тестуванні розмовного ШІ, психології, акторській майстерності або нестандартному змагальному письмі
Переваги
- Повністю віддалена робота з можливістю самостійно встановлювати графік
- Щотижневі виплати через Stripe або Wise за надані послуги
- Можливість самостійно обирати участь у проєктах із контентом підвищеної чутливості
- Доступ до чітких рекомендацій і ресурсів для підтримки добробуту під час роботи з чутливим контентом
- Конкурентна винагорода
- Практичний досвід у red teaming ШІ на основі даних, розмічених людьми
- Співпраця з провідними дослідниками
- Можливість за потреби запросити розумні умови
- Реферальні виплати до 90 доларів за кожного успішно залученого кандидата