51 – 200 Pracownicy
Dostępny profil Mercor nie zawiera wystarczających, zweryfikowanych informacji o produktach, usługach, klientach, sektorze ani obszarze rekrutacji firmy, aby przygotować dokładny opis. Do przedstawienia działalności firmy lub jej możliwości potrzebne są dodatkowe materiały źródłowe.
Ekspert ds. red teamingu bezpieczeństwa AI — angielski i tamilski, kontrakt zdalny
Testuj konwersacyjne modele i agentów AI pod kątem podatności, stosując adversarial probing i ustrukturyzowaną analizę red team. Twórz przypadki ataków, dane o podatnościach i odtwarzalne raporty dla klientów laboratorium AI Mercor.
Opis
- Testować konwersacyjne modele i agentów AI za pomocą jailbreaków, prompt injection, scenariuszy niewłaściwego użycia, wykorzystywania stronniczości i manipulacji wieloturowych
- Tworzyć dane oznaczone przez ekspertów, dokumentując awarie, kategoryzując podatności i identyfikując ryzyka systemowe
- Korzystać z ustalonych taksonomii, benchmarków i playbooków, aby zapewnić spójność ocen
- Opracowywać odtwarzalne raporty, zbiory danych i przypadki ataków dla klientów
- Oceniać odpowiedzi AI dotyczące stronniczości, dezinformacji, szkodliwego zachowania i innych wrażliwych tematów
- Identyfikować słabości, które mogą zostać pominięte przez automatyczne testy
- Poszerzać zakres ocen i pomagać zapobiegać nieoczekiwanym problemom w środowisku produkcyjnym
- Ulepszać systemy AI klientów i przyczyniać się do tworzenia bezpieczniejszych oraz bardziej niezawodnych modeli
Wymagania
- Biegła znajomość języka angielskiego i tamilskiego na poziomie rodzimego użytkownika
- Trafna ocena języka i treści
- Umiejętność określenia, czy odpowiedzi AI są dokładne, kompletne i odpowiednie, oraz wyjaśnienia tej oceny
- Dbałość o subtelne błędy, niespójności i pominięcia
- Umiejętność konsekwentnego stosowania wytycznych i standardów jakości
- Jasne komunikowanie toku rozumowania odbiorcom technicznym i nietechnicznym
- Elastyczność w pracy nad różnymi projektami, formatami zadań i dla różnych klientów
- Mile widziane: doświadczenie w adversarial machine learning, w tym w pracy ze zbiorami danych jailbreak, prompt injection, atakami RLHF lub DPO albo ekstrakcją modeli
- Mile widziane: doświadczenie w cyberbezpieczeństwie, w tym w testach penetracyjnych, tworzeniu exploitów lub inżynierii wstecznej
- Mile widziane: doświadczenie z ryzykami socjotechnicznymi, takimi jak badanie nękania i dezinformacji, analiza nadużyć lub testowanie konwersacyjnej AI
- Mile widziane: doświadczenie w kreatywnym sondowaniu w psychologii, aktorstwie lub pisaniu
- Wymagana praca jako niezależny wykonawca
- Kandydaci z wizami H-1B i STEM OPT nie są obsługiwani
Benefity
- W pełni zdalna praca
- Elastyczny harmonogram z możliwością samodzielnego ustalania godzin pracy
- Cotygodniowe płatności przez Stripe lub Wise
- Konkurencyjne wynagrodzenie godzinowe
- Możliwość zdobycia doświadczenia w red teamingu AI opartym na danych tworzonych przez ludzi i skoncentrowanym na bezpieczeństwie przełomowych systemów
- Bezpośredni wkład w tworzenie bardziej odpornych, bezpiecznych i godnych zaufania systemów AI
- Opcjonalny udział w projektach o podwyższonej wrażliwości
- Wytyczne i zasoby dotyczące dobrostanu przy projektach obejmujących wrażliwe treści
- Racjonalne usprawnienia dostępne na żądanie
- Program poleceń oferujący do 90 USD za każde skuteczne polecenie, z zastrzeżeniem limitów programu