Експерт із безпеки ШІ (англійська й тамільська мови) — віддалений контракт
Mercor шукає експерта із безпеки ШІ, який володіє англійською та тамільською мовами, для червоного тестування розмовних моделей і агентів. Контрактна робота передбачає виявлення вразливостей, створення даних для оцінювання та підготовку відтворюваних звітів із безпеки.
Опис
- Проводити змагальне тестування розмовних моделей і агентів ШІ за допомогою джейлбрейків, ін’єкцій промптів, сценаріїв неналежного використання, експлуатації упередженості та багатоетапних маніпуляцій.
- Створювати дані, підготовлені людьми, ано andуючи збої, класифікуючи вразливості та виявляючи системні ризики.
- Використовувати усталені таксономії, бенчмарки й посібники для забезпечення послідовності оцінювань.
- Надавати клієнтам відтворювані звіти, набори даних і приклади атак.
- Оцінювати відповіді ШІ на чутливі теми, зокрема упередженість, дезінформацію та шкідливу поведінку.
- Виявляти слабкі місця, які можуть залишатися непоміченими під час автоматизованого оцінювання.
- Розширювати охоплення оцінювань, щоб допомогти мінімізувати неочікувані проблеми у виробничому середовищі.
- Покращувати системи ШІ клієнтів за допомогою структурованого змагального тестування.
Вимоги
- Вільне володіння англійською та тамільською мовами на рівні носія.
- Зважене судження під час оцінювання мови та контенту.
- Уміння визначати, чи є відповіді ШІ точними, повними й доречними, а також пояснювати свої міркування.
- Висока уважність до тонких помилок, невідповідностей і пропусків.
- Послідовне дотримання вказівок і стандартів якості.
- Уміння чітко пояснювати міркування як технічній, так і нетехнічній аудиторії.
- Адаптивність у роботі з різними проєктами, форматами завдань і клієнтами.
- Можливість працювати як незалежний підрядник.
- Кандидати з візою H-1B і статусом STEM OPT не підтримуються.
- Бажано: досвід у змагальному машинному навчанні, зокрема з наборами даних для джейлбрейків, ін’єкціями промптів, атаками RLHF або DPO чи вилученням моделей.
- Бажано: досвід у кібербезпеці, зокрема тестуванні на проникнення, розробленні експлойтів або зворотній інженерії.
- Бажано: досвід роботи із соціотехнічними ризиками, зокрема дослідженням домагань або дезінформації, аналізом зловживань чи тестуванням розмовного ШІ.
- Бажано: досвід творчого зондування у психології, акторській майстерності або письменництві.
Переваги
- Повністю віддалена робота.
- Гнучкий графік із можливістю самостійно визначати робочі години.
- Щотижневі виплати через Stripe або Wise.
- Можливість за бажанням брати участь у проєктах із підвищеною чутливістю.
- Чіткі рекомендації та ресурси для підтримки добробуту під час роботи з чутливим контентом.
- Конкурентна погодинна оплата.
- Можливість співпрацювати з провідними дослідниками.
- Реферальні виплати до 90 доларів США за кожного успішного реферала з урахуванням застосовних обмежень.
- Розумні умови для адаптації доступні за запитом.