51 – 200 Pracownicy
Dostępny profil Mercor nie zawiera wystarczających, zweryfikowanych informacji o produktach, usługach, klientach, sektorze ani obszarze rekrutacji firmy, aby przygotować dokładny opis. Do przedstawienia działalności firmy lub jej możliwości potrzebne są dodatkowe materiały źródłowe.
Ekspert ds. bezpieczeństwa AI — język angielski i telugu (zdalny kontrakt)
Prowadź testy red team rozmownych modeli AI i agentów dla Mercor, wykrywając podatności za pomocą testów adversarialnych. Twórz wysokiej jakości zbiory danych, przypadki ataków i jasne raporty dotyczące działania modeli w języku angielskim i telugu.
Opis
- Testować konwersacyjne modele AI i agentów pod kątem jailbreaków, prompt injection, scenariuszy niewłaściwego użycia, wykorzystywania uprzedzeń i manipulacji wieloturowej
- Tworzyć dane generowane przez ludzi poprzez oznaczanie błędów, kategoryzowanie podatności i identyfikowanie ryzyk systemowych
- Korzystać z uznanych taksonomii, benchmarków i playbooków, aby zapewnić spójność ocen
- Opracowywać odtwarzalne raporty, zbiory danych i przypadki ataków adversarialnych
- Oceniać odpowiedzi AI dotyczące uprzedzeń, dezinformacji, szkodliwych zachowań i innych wrażliwych tematów
- Identyfikować słabości, które mogą zostać pominięte przez zautomatyzowane metody oceny
- Poszerzać zakres ocen, aby pomagać zapobiegać nieoczekiwanym problemom w środowisku produkcyjnym
- Ulepszać systemy AI klientów dzięki ustrukturyzowanym testom adversarialnym
Wymagania
- Biegła znajomość języka angielskiego i telugu na poziomie native speakera
- Trafna ocena języka i treści
- Umiejętność określenia, czy odpowiedzi AI są dokładne, kompletne i odpowiednie, oraz wyjaśnienia toku rozumowania
- Wyjątkowa dbałość o subtelne błędy, niespójności i pominięcia
- Konsekwentne przestrzeganie wytycznych i standardów jakości
- Umiejętność jasnego komunikowania toku rozumowania odbiorcom technicznym i nietechnicznym
- Elastyczność w pracy nad różnymi projektami, formatami zadań i dla różnych klientów
- Możliwość pracy jako niezależny wykonawca
- Brak potrzeby sponsorowania wiz H-1B lub STEM OPT
- Doświadczenie w adversarial machine learning, cyberbezpieczeństwie, ryzyku socjotechnicznym lub kreatywnym sondowaniu będzie dodatkowym atutem
Benefity
- W pełni zdalna praca
- Elastyczny harmonogram dopasowany do Twojej dostępności
- Cotygodniowe płatności przez Stripe lub Wise
- Czas trwania projektu może ulec zmianie lub projekt może zakończyć się wcześniej w zależności od potrzeb biznesowych i wyników pracy
- Dostęp do zasobów wspierających dobrostan oraz jasnych wskazówek dotyczących zadań o podwyższonej wrażliwości
- Możliwość zdobycia doświadczenia w red teamingu AI opartym na danych tworzonych przez ludzi
- Pomoc w zwiększaniu odporności, bezpieczeństwa i wiarygodności systemów AI
- Konkurencyjne wynagrodzenie
- Współpraca z czołowymi badaczami
- Na życzenie dostępne są racjonalne usprawnienia