Експерт із червоного тестування безпеки ШІ (англійська та пенджабі)
Mercor шукає експерта з безпеки ШІ, який володіє англійською та пенджабі, для red teaming розмовних моделей і агентів. Контрактна роль передбачає виявлення вразливостей, створення сценаріїв атак і підготовку відтворюваних звітів із безпеки для клієнтів, що досліджують ШІ.
Опис
- Тестувати розмовні моделі та агентів за допомогою джейлбрейків, ін’єкцій промптів, сценаріїв неналежного використання, експлуатації упередженості та багатоетапних маніпуляцій
- Оцінювати відповіді моделей на чутливі теми, зокрема упередженість, дезінформацію та шкідливу поведінку
- Документувати збої, класифікувати вразливості та виявляти системні ризики
- Використовувати усталені таксономії, бенчмарки та плейбуки для послідовного оцінювання
- Створювати відтворювані звіти, набори даних і сценарії атак для клієнтів
- Досліджувати системи ШІ на наявність слабких місць, які може не виявити автоматизоване тестування
- Розширювати охоплення оцінювання, щоб зменшити ймовірність неочікуваних проблем у продуктивному середовищі
- Удосконалювати системи ШІ клієнтів завдяки ручному тестуванню на основі даних
Вимоги
- Вільне володіння англійською та пенджабі на рівні носія або близькому до нього
- Сильне критичне мислення під час оцінювання мови та контенту
- Здатність визначати, чи є відповіді ШІ точними, повними й доречними, та пояснювати свою оцінку
- Надзвичайна уважність до незначних помилок, невідповідностей і пропусків
- Послідовне дотримання рекомендацій із тестування та стандартів якості
- Здатність чітко пояснювати міркування як технічній, так і нетехнічній аудиторії
- Готовність працювати з різними проєктами, форматами завдань і клієнтами
- Готовність працювати як незалежний підрядник
- Не повинна бути потрібна підтримка за візою H-1B або STEM OPT
- Бажана експертиза може охоплювати змагальне машинне навчання, набори даних для джейлбрейків, ін’єкції промптів, атаки на RLHF/DPO, вилучення моделей, тестування на проникнення, розроблення експлойтів, зворотну інженерію, виявлення домагань або дезінформації, аналіз зловживань, тестування розмовного ШІ, психологію, акторську майстерність або написання текстів
Переваги
- Віддалена робота з будь-якого місця, дозволеного умовами ролі
- Самостійне планування робочого графіка
- Щотижневі виплати через Stripe або Wise за надані послуги
- Проєкти можуть бути продовжені, скорочені або завершені достроково залежно від потреб бізнесу та результатів роботи
- Доступ до ресурсів для підтримки добробуту та чітких рекомендацій для проєктів із підвищеною чутливістю
- Отримання досвіду в red teaming ШІ на основі людських даних
- Можливість зробити системи ШІ надійнішими, безпечнішими та більш гідними довіри
- Конкурентна винагорода
- Співпраця з провідними дослідниками ШІ