Експерт із безпеки ШІ — англійська та бенгальська мови (дистанційний контракт)
Mercor шукає спеціаліста з тестування безпеки ШІ, який володіє англійською та бенгальською мовами, для виявлення вразливостей у розмовних ШІ-системах. Робота передбачає створення відтворюваних атак і даних, підготовлених людьми, для лабораторій, що навчають передові моделі.
Опис
- Тестувати розмовні моделі й агентів ШІ за допомогою джейлбрейків, ін’єкцій промптів, сценаріїв неправомірного використання, експлуатації упередженості та багатоходових маніпуляцій
- Створювати дані, підготовлені людьми, анотовуючи збої, класифікуючи вразливості та виявляючи системні ризики
- Використовувати усталені таксономії, бенчмарки й посібники для забезпечення послідовності оцінювання
- Надавати клієнтам відтворювані звіти, набори даних і приклади атак
- Оцінювати відповіді ШІ, що стосуються упередженості, дезінформації, шкідливої поведінки та інших чутливих тем
- Розширювати охоплення оцінювання та сприяти створенню надійніших ШІ-систем для клієнтів
Вимоги
- Вільне або носійське володіння англійською та бенгальською мовами
- Зважене судження під час оцінювання мови й контенту, зокрема здатність визначати точність, повноту та доречність відповідей ШІ й пояснювати оцінку
- Висока уважність до непомітних помилок, невідповідностей і пропусків
- Неухильне дотримання рекомендацій із тестування та стандартів якості
- Уміння чітко пояснювати логіку як технічній, так і нетехнічній аудиторії
- Готовність адаптуватися до різних проєктів, форматів завдань і клієнтів
- Здатність працювати як незалежний підрядник
- Не повинна вимагатися спонсорська підтримка за візами H-1B або STEM OPT
- Бажано: досвід у змагальному машинному навчанні, зокрема з наборами даних для джейлбрейків, ін’єкціями промптів, атаками RLHF/DPO або вилученням моделей
- Бажано: досвід у кібербезпеці, зокрема тестуванні на проникнення, розробленні експлойтів або зворотній інженерії
- Бажано: досвід у соціотехнічних ризиках, зокрема дослідженні переслідувань або дезінформації, аналізі зловживань чи тестуванні розмовного ШІ
- Бажано: досвід у психології, акторській майстерності або письменництві, що сприяє нестандартному змагальному мисленню
Переваги
- Повністю дистанційна робота
- Гнучкий графік відповідно до вашої доступності
- Щотижневі виплати через Stripe або Wise
- Можливість обирати участь у проєктах із підвищеною чутливістю
- Доступ до чітких рекомендацій і ресурсів для підтримання добробуту під час роботи з чутливим контентом
- Конкурентна винагорода
- Досвід у тестуванні безпеки ШІ на основі даних, створених людьми
- Співпраця з провідними дослідниками ШІ
- Реферальні виплати до $90 за кожного успішно запрошеного кандидата