51 – 200 Pracownicy
Dostępny profil Mercor nie zawiera wystarczających, zweryfikowanych informacji o produktach, usługach, klientach, sektorze ani obszarze rekrutacji firmy, aby przygotować dokładny opis. Do przedstawienia działalności firmy lub jej możliwości potrzebne są dodatkowe materiały źródłowe.
Zdalny ekspert ds. bezpieczeństwa AI — język angielski i asamski (kontrakt)
Mercor poszukuje zdalnego eksperta ds. bezpieczeństwa AI na kontrakt, biegle władającego językiem angielskim i asamskim, do testów red teamowych zaawansowanych modeli, oceny podatności oraz tworzenia wysokiej jakości danych przygotowanych przez ludzi na potrzeby projektów związanych z bezpieczeństwem AI.
Opis
- Przeprowadzać testy red teamowe konwersacyjnych modeli i agentów AI z użyciem jailbreaków, prompt injection, scenariuszy nadużyć, wykorzystywania uprzedzeń i wieloetapowych manipulacji
- Tworzyć dane oznaczone przez ludzi poprzez adnotowanie błędów, kategoryzowanie podatności i identyfikowanie ryzyk systemowych
- Korzystać z taksonomii, benchmarków i playbooków, aby zapewnić spójność ocen
- Opracowywać odtwarzalne raporty, zbiory danych i przypadki ataków dla klientów
- Oceniać odpowiedzi AI dotyczące wrażliwych tematów, w tym uprzedzeń, dezinformacji i szkodliwych zachowań
- Identyfikować podatności, których nie wykrywają testy automatyczne
- Poszerzać zakres ocen, aby pomagać ograniczać nieoczekiwane problemy w środowisku produkcyjnym
- Współtworzyć projekty służące trenowaniu i ulepszaniu zaawansowanych systemów AI
Wymagania
- Biegła znajomość języka angielskiego i asamskiego na poziomie rodzimego użytkownika
- Trafna ocena jakości języka i treści
- Umiejętność określenia, czy odpowiedzi AI są dokładne, kompletne i odpowiednie
- Umiejętność jasnego komunikowania toku rozumowania odbiorcom technicznym i nietechnicznym
- Wyjątkowa dbałość o niuanse błędów, niespójności i pominięć
- Umiejętność konsekwentnego stosowania wytycznych, taksonomii, benchmarków, playbooków i standardów jakości
- Elastyczność w pracy nad różnymi projektami, formatami zadań i potrzebami klientów
- Wymagana jest praca jako niezależny wykonawca
- Obecnie nie możemy zapewnić wsparcia kandydatom z wizą H-1B ani STEM OPT
- Preferowane obszary specjalizacji obejmują adversarial machine learning, cyberbezpieczeństwo, ryzyko socjotechniczne, ocenę konwersacyjnej AI, psychologię, aktorstwo i pisanie
Benefity
- Praca w pełni zdalna
- Możliwość ustalenia dogodnego harmonogramu
- Cotygodniowe płatności za pośrednictwem Stripe lub Wise
- Praktyczne doświadczenie w red teamowych testach AI opartych na danych tworzonych przez ludzi
- Możliwość przyczynienia się do tworzenia bardziej odpornych, bezpiecznych i godnych zaufania systemów AI
- Współpraca z czołowymi badaczami AI
- Na życzenie dostępne są racjonalne usprawnienia
- Płatności za polecenia w wysokości do 90 USD za każde skuteczne polecenie, z zastrzeżeniem obowiązujących limitów