Експерт із безпеки ШІ — англійська та маратхі (віддалений контракт)
Mercor шукає експерта з безпеки ШІ, який вільно володіє англійською та маратхі, для пошуку вразливостей у розмовних системах ШІ. Контрактна робота передбачає adversarial-тестування, аналіз вразливостей і підготовку зрозумілих звітів для проєктів із даними, створеними людьми, та передовими моделями ШІ.
Опис
- Тестувати розмовні моделі й агентів ШІ на вразливість до обходу обмежень, ін’єкцій промптів, сценаріїв зловживання, експлуатації упередженості та багатоходових маніпуляцій
- Створювати набори даних, підготовлені людьми, анотуючи збої, класифікуючи вразливості та виявляючи системні ризики
- Використовувати встановлені таксономії, бенчмарки та інструкції для забезпечення послідовності оцінювання
- Надавати відтворювані приклади атак, набори даних і звіти для клієнтів
- Оцінювати відповіді ШІ на чутливі теми, зокрема упередженість, дезінформацію та шкідливу поведінку
- Виявляти слабкі місця, які можуть залишатися непоміченими під час автоматизованого оцінювання
- Розширювати охоплення тестування, допомагаючи запобігати неочікуваним проблемам у продуктивних системах
- Допомагати клієнтам підвищувати безпеку, стійкість і надійність їхніх систем ШІ
- Працювати з провідними дослідниками над ініціативами з навчання та вдосконалення передових моделей ШІ
Вимоги
- Рідна або вільна англійська та маратхі
- Зважене судження під час оцінювання мови й контенту
- Уміння визначати, чи є відповіді ШІ точними, повними та доречними, і чітко пояснювати висновки
- Уважність до нюансованих помилок, невідповідностей і пропусків
- Надійне дотримання рекомендацій щодо тестування та вимог до якості
- Уміння чітко пояснювати свої міркування технічній і нетехнічній аудиторії
- Готовність працювати над різними проєктами, завданнями та з різними клієнтами
- Уміння працювати як незалежний підрядник
- Відсутність потреби у спонсорстві H-1B або STEM OPT
- Бажано: досвід adversarial machine learning, зокрема з наборами даних для обходу обмежень, ін’єкціями промптів, атаками RLHF/DPO або видобуванням моделей
- Бажано: досвід у кібербезпеці, зокрема тестуванні на проникнення, розробленні експлойтів або зворотній інженерії
- Бажано: досвід роботи із соціотехнічними ризиками, зокрема дослідженням домагань або дезінформації, аналізом зловживань чи тестуванням розмовного ШІ
- Бажано: досвід у психології, акторській майстерності або письменництві, що сприяє нестандартному мисленню під час пошуку вразливостей
Переваги
- Повністю віддалена робота за контрактом
- Гнучкий графік із можливістю самостійно визначати робочі години
- Щотижневі виплати через Stripe або Wise
- Тривалість проєкту може змінитися або проєкт може завершитися раніше залежно від потреб бізнесу та результатів роботи
- Необов’язкова участь у проєктах, що стосуються контенту підвищеної чутливості
- Чіткі рекомендації та ресурси для підтримки добробуту під час роботи з чутливим контентом
- Розумні умови адаптації доступні за запитом
- Реферальні виплати до 90 доларів за кожного успішного кандидата