51 – 200 Pracownicy
Dostępny profil Mercor nie zawiera wystarczających, zweryfikowanych informacji o produktach, usługach, klientach, sektorze ani obszarze rekrutacji firmy, aby przygotować dokładny opis. Do przedstawienia działalności firmy lub jej możliwości potrzebne są dodatkowe materiały źródłowe.
Ekspert ds. testów bezpieczeństwa AI metodą red teamingu (angielski i pendżabski)
Mercor poszukuje eksperta ds. bezpieczeństwa AI znającego język angielski i pendżabski do testów red teamingu konwersacyjnych modeli i agentów. Rola kontraktowa obejmuje wykrywanie podatności, tworzenie przypadków ataków oraz przygotowywanie odtwarzalnych raportów bezpieczeństwa dla klientów prowadzących badania nad AI.
Opis
- Testować konwersacyjne modele i agentów za pomocą jailbreaków, wstrzyknięć promptów, scenariuszy niewłaściwego użycia, wykorzystywania uprzedzeń i wieloetapowej manipulacji
- Oceniać odpowiedzi modeli na wrażliwe tematy, w tym uprzedzenia, dezinformację i szkodliwe zachowania
- Dokumentować błędy, kategoryzować podatności i identyfikować ryzyka systemowe
- Korzystać z uznanych taksonomii, benchmarków i playbooków, aby zapewnić spójność ocen
- Tworzyć odtwarzalne raporty, zbiory danych i przypadki ataków dla klientów
- Badać systemy AI pod kątem słabości, których automatyczne testy mogą nie wykryć
- Poszerzać zakres ocen, aby ograniczać ryzyko nieoczekiwanych problemów na produkcji
- Ulepszać systemy AI klientów dzięki prowadzonemu przez ludzi, opartemu na danych red teamingowi
Wymagania
- Biegła znajomość języka angielskiego i pendżabskiego na poziomie ojczystym lub zbliżonym
- Dobre rozeznanie w ocenie języka i treści
- Umiejętność określania, czy odpowiedzi AI są dokładne, kompletne i odpowiednie, oraz wyjaśniania oceny
- Skrupulatna dbałość o subtelne błędy, niespójności i pominięcia
- Konsekwentne przestrzeganie wytycznych dotyczących testów i standardów jakości
- Umiejętność jasnego komunikowania toku rozumowania odbiorcom technicznym i nietechnicznym
- Elastyczność w pracy nad różnymi projektami, formatami zadań i dla różnych klientów
- Gotowość do pracy jako niezależny wykonawca
- Brak konieczności korzystania ze wsparcia wizowego H-1B lub STEM OPT
- Preferowane doświadczenie może obejmować adversarial machine learning, zbiory danych jailbreaków, wstrzyknięcia promptów, ataki RLHF/DPO, ekstrakcję modeli, testy penetracyjne, tworzenie exploitów, inżynierię wsteczną, badanie nękania lub dezinformacji, analizę nadużyć, testowanie konwersacyjnej AI, psychologię, aktorstwo lub pisanie
Benefity
- Praca zdalna z dowolnego miejsca dozwolonego w ramach tej roli
- Samodzielne ustalanie godzin pracy
- Cotygodniowe płatności przez Stripe lub Wise za świadczone usługi
- Projekty mogą być przedłużane, ograniczane lub kończone wcześniej zależnie od potrzeb biznesowych i wyników pracy
- Dostęp do zasobów wspierających dobrostan oraz jasnych wytycznych dotyczących projektów o podwyższonej wrażliwości
- Zdobywanie doświadczenia w red teamingu AI opartym na danych tworzonych przez ludzi
- Możliwość zwiększania odporności, bezpieczeństwa i wiarygodności systemów AI
- Konkurencyjne wynagrodzenie
- Współpraca z czołowymi badaczami AI