51 – 200 Pracownicy
Dostępny profil Mercor nie zawiera wystarczających, zweryfikowanych informacji o produktach, usługach, klientach, sektorze ani obszarze rekrutacji firmy, aby przygotować dokładny opis. Do przedstawienia działalności firmy lub jej możliwości potrzebne są dodatkowe materiały źródłowe.
Ekspert ds. bezpieczeństwa AI – angielski i asamski | zdalny kontrakt Mercor
Prowadź testy adwersarialne najnowocześniejszych modeli AI pod kątem jailbreaków, uprzedzeń, niewłaściwego użycia i innych zagrożeń bezpieczeństwa. Twórz adnotacje danych ludzkich, klasyfikacje podatności oraz odtwarzalne dowody ataków dla klientów Mercor.
Opis
- Prowadzić adwersarialne testy konwersacyjnych modeli i agentów AI pod kątem jailbreaków, prompt injection, niewłaściwego użycia, wykorzystywania uprzedzeń i manipulacji wieloturowych
- Tworzyć adnotacje danych ludzkich, klasyfikować awarie i identyfikować ryzyka systemowe
- Korzystać z uznanych taksonomii, benchmarków i podręczników operacyjnych w celu standaryzacji ocen
- Dostarczać klientom odtwarzalne raporty, zbiory danych i przypadki ataków
- Oceniać odpowiedzi AI dotyczące uprzedzeń, dezinformacji, szkodliwego zachowania i innych wrażliwych tematów
- Znajdować słabe punkty, których nie wykrywają zautomatyzowane testy
- Poszerzać zakres ocen, aby pomagać zapobiegać nieoczekiwanym problemom na produkcji
- Ulepszać systemy AI klientów dzięki ustrukturyzowanym testom adwersarialnym
Wymagania
- Biegła znajomość języka angielskiego i asamskiego na poziomie rodzimym
- Trafna ocena języka i treści pod kątem dokładności, kompletności i stosowności
- Umiejętność wykrywania subtelnych błędów, niespójności i pominięć
- Konsekwentne przestrzeganie wytycznych i standardów jakości
- Jasne komunikowanie toku rozumowania odbiorcom technicznym i nietechnicznym
- Elastyczność w pracy nad różnymi projektami, formatami zadań i potrzebami klientów
- Preferowane: doświadczenie w adwersarialnym uczeniu maszynowym z zestawami jailbreaków, prompt injection, atakami RLHF lub DPO albo ekstrakcją modeli
- Preferowane: doświadczenie w cyberbezpieczeństwie, w tym testach penetracyjnych, tworzeniu exploitów lub inżynierii wstecznej
- Preferowane: doświadczenie w ocenie ryzyka socjotechnicznego, w tym badaniu nękania lub dezinformacji, analizie nadużyć albo testowaniu konwersacyjnej AI
- Preferowane: doświadczenie w psychologii, aktorstwie lub pisaniu wspierające niekonwencjonalne myślenie adwersarialne
- Wymagana praca jako niezależny wykonawca
- Kandydaci z wizami H-1B i STEM OPT nie są obsługiwani
Benefity
- W pełni zdalna praca
- Samodzielny wybór godzin pracy
- Cotygodniowe płatności za pośrednictwem Stripe lub Wise
- Praktyczne doświadczenie w red teamingu AI opartym na danych tworzonych przez ludzi
- Możliwość pomagania w zwiększaniu odporności, bezpieczeństwa i wiarygodności systemów AI
- Praca z czołowymi badaczami
- Na życzenie dostępne są racjonalne usprawnienia
- Płatności za polecenia w wysokości do 90 USD za skuteczne rekomendacje