Експерт із безпеки ШІ — англійська й ассамська | віддалений контракт Mercor
Проводьте adversarial-тестування передових моделей ШІ на вразливості типу jailbreak, упередженість, зловживання та інші ризики безпеки. Створюйте розмітку даних, класифікації вразливостей і відтворювані докази атак для клієнтів Mercor.
Опис
- Проводити adversarial-тестування розмовних моделей і агентів ШІ на вразливості типу jailbreak, ін’єкції промптів, зловживання, експлуатацію упередженості та багатоходові маніпуляції
- Створювати розмітку даних людьми, класифікувати збої та виявляти системні ризики
- Використовувати усталені таксономії, бенчмарки й плейбуки для стандартизації оцінювання
- Надавати клієнтам відтворювані звіти, набори даних і приклади атак
- Оцінювати відповіді ШІ, пов’язані з упередженістю, дезінформацією, шкідливою поведінкою та іншими чутливими темами
- Знаходити слабкі місця, які не виявляє автоматизоване тестування
- Розширювати охоплення оцінювання, щоб допомагати запобігати неочікуваним проблемам у продуктивному середовищі
- Покращувати системи ШІ клієнтів за допомогою структурованого adversarial-тестування
Вимоги
- Вільне володіння англійською та ассамською мовами на рівні носія
- Зважене судження під час оцінювання мови й контенту на точність, повноту та доречність
- Уміння виявляти тонкі помилки, невідповідності та пропуски
- Послідовне дотримання рекомендацій і стандартів якості
- Чітке пояснення міркувань технічній і нетехнічній аудиторіям
- Гнучкість у роботі з різними проєктами, форматами завдань і потребами клієнтів
- Бажано: досвід adversarial-машинного навчання з наборами даних для jailbreak, ін’єкціями промптів, атаками RLHF або DPO чи вилученням моделей
- Бажано: досвід у кібербезпеці, зокрема тестуванні на проникнення, розробленні експлойтів або зворотному проєктуванні
- Бажано: досвід оцінювання соціотехнічних ризиків, зокрема дослідження домагань або дезінформації, аналізу зловживань чи тестування розмовного ШІ
- Бажано: досвід у психології, акторській майстерності або письменництві, що підтримує нестандартне adversarial-мислення
- Необхідно працювати як незалежний підрядник
- Кандидати з візами H-1B і STEM OPT не підтримуються
Переваги
- Повністю віддалена робота
- Самостійний вибір робочого графіка
- Щотижневі виплати через Stripe або Wise
- Практичний досвід red teaming ШІ на основі даних, створених людьми
- Можливість зробити системи ШІ надійнішими, безпечнішими та більш гідними довіри
- Робота з провідними дослідниками
- Розумні пристосування доступні на запит
- Реферальні виплати до 90 доларів США за успішні рекомендації