Віддалений експерт із безпеки ШІ (англійська та гуджараті) — контракт
Mercor шукає контрактного експерта із безпеки ШІ, який вільно володіє англійською та гуджараті, для проведення атакувального тестування передових моделей ШІ. Робота передбачає тестування вразливостей, оцінювання збоїв і створення відтворюваних наборів даних та сценаріїв атак.
Опис
- Тестувати розмовні моделі та агентів ШІ на наявність джейлбрейків, ін’єкцій промптів, сценаріїв зловживання, експлуатації упередженості та багатоетапних маніпуляцій
- Створювати дані, підготовлені людьми, анотуючи збої, класифікуючи вразливості та виявляючи системні ризики
- Використовувати усталені таксономії, бенчмарки й плейбуки для послідовного проведення оцінювань
- Розробляти відтворювані звіти для клієнтів, набори даних і сценарії атак
- Оцінювати відповіді ШІ на наявність проблем, зокрема упередженості, дезінформації та шкідливої поведінки
- Виявляти слабкі місця, які не помічає автоматизоване тестування
- Розширювати охоплення оцінювань, щоб допомагати запобігати неочікуваним проблемам у виробничому середовищі
- Долучатися до проєктів із навчання та вдосконалення передових систем ШІ
Вимоги
- Вільне володіння англійською та гуджараті на рівні носія
- Зважене судження під час оцінювання мови й контенту на точність, повноту та доречність
- Здатність виявляти нюансовані помилки, невідповідності та пропуски
- Послідовне дотримання встановлених настанов і стандартів якості
- Чітке пояснення своїх міркувань технічній і нетехнічній аудиторії
- Гнучкість у роботі над різними проєктами, форматами завдань і потребами клієнтів
- Залучення як незалежного підрядника
- Кандидати з H-1B і STEM OPT не мають права брати участь
- Бажано: досвід у змагальному машинному навчанні, зокрема з наборами даних для джейлбрейків, ін’єкціями промптів, атаками RLHF/DPO або вилученням моделей
- Бажано: досвід у кібербезпеці, зокрема тестуванні на проникнення, розробці експлойтів або зворотній інженерії
- Бажано: досвід роботи із соціотехнічними ризиками, зокрема перевіркою на переслідування або дезінформацію, аналізом зловживань чи тестуванням розмовного ШІ
- Бажано: досвід у психології, акторській майстерності або письмі, що сприяє нестандартному атакувальному мисленню
Переваги
- Віддалена робота зі США
- Гнучкий графік відповідно до вашої доступності
- Щотижневі виплати через Stripe або Wise
- Можливість брати участь або не брати участі в проєктах із підвищеною чутливістю
- Доступ до чітких настанов і ресурсів для підтримки добробуту під час роботи з чутливим контентом
- Конкурентна погодинна оплата
- За запитом доступні розумні умови адаптації
- Можливість отримати до 90 доларів США за кожного успішного реферала з урахуванням застосовних обмежень