51 – 200 Pracownicy
Dostępny profil Mercor nie zawiera wystarczających, zweryfikowanych informacji o produktach, usługach, klientach, sektorze ani obszarze rekrutacji firmy, aby przygotować dokładny opis. Do przedstawienia działalności firmy lub jej możliwości potrzebne są dodatkowe materiały źródłowe.
Ekspert ds. bezpieczeństwa AI (język angielski i tamilski) — zdalny kontrakt
Mercor poszukuje eksperta ds. bezpieczeństwa AI posługującego się językiem angielskim i tamilskim do testów typu red team konwersacyjnych modeli i agentów. Praca kontraktowa obejmuje identyfikowanie podatności, tworzenie danych ewaluacyjnych i przygotowywanie odtwarzalnych raportów dotyczących bezpieczeństwa.
Opis
- Prowadzenie testów adversarial konwersacyjnych modeli i agentów AI z wykorzystaniem jailbreaków, wstrzykiwania promptów, scenariuszy niewłaściwego użycia, wykorzystywania uprzedzeń i manipulacji wieloetapowych.
- Tworzenie danych generowanych przez ludzi poprzez adnotowanie błędów, kategoryzowanie podatności i identyfikowanie ryzyk systemowych.
- Korzystanie z uznanych taksonomii, benchmarków i instrukcji w celu zapewnienia spójności ocen.
- Dostarczanie klientom odtwarzalnych raportów, zbiorów danych i przypadków ataków.
- Ocena wyników AI dotyczących wrażliwych tematów, w tym uprzedzeń, dezinformacji i szkodliwych zachowań.
- Identyfikowanie słabych punktów, które mogą zostać pominięte przez automatyczne metody ewaluacji.
- Poszerzanie zakresu ewaluacji, aby pomóc ograniczyć nieoczekiwane problemy na produkcji.
- Ulepszanie systemów AI klientów poprzez ustrukturyzowane testy adversarial.
Wymagania
- Biegła znajomość języka angielskiego i tamilskiego lub znajomość tych języków na poziomie ojczystym.
- Trafna ocena języka i treści.
- Umiejętność określenia, czy odpowiedzi AI są dokładne, kompletne i odpowiednie, oraz wyjaśnienia toku rozumowania.
- Duża dbałość o subtelne błędy, niespójności i pominięcia.
- Konsekwentne przestrzeganie wytycznych i standardów jakości.
- Umiejętność jasnego komunikowania toku rozumowania odbiorcom technicznym i nietechnicznym.
- Elastyczność w pracy nad różnymi projektami, formatami zadań i dla różnych klientów.
- Możliwość pracy jako niezależny wykonawca.
- Kandydaci z wizą H-1B i statusem STEM OPT nie są objęci wsparciem.
- Mile widziane: doświadczenie w adversarial machine learning, w tym w pracy ze zbiorami jailbreaków, wstrzykiwaniem promptów, atakami RLHF lub DPO albo ekstrakcją modeli.
- Mile widziane: doświadczenie w cyberbezpieczeństwie, w tym w testach penetracyjnych, tworzeniu exploitów lub inżynierii wstecznej.
- Mile widziane: doświadczenie w zakresie ryzyka socjotechnicznego, obejmujące badanie nękania lub dezinformacji, analizę nadużyć albo testowanie konwersacyjnej AI.
- Mile widziane: doświadczenie w kreatywnym sondowaniu w psychologii, aktorstwie lub pisaniu.
Benefity
- Praca w pełni zdalna.
- Elastyczny harmonogram z możliwością samodzielnego ustalania godzin pracy.
- Cotygodniowe płatności za pośrednictwem Stripe lub Wise.
- Opcjonalny udział w projektach o podwyższonej wrażliwości.
- Jasne wytyczne i zasoby wspierające dobrostan podczas pracy z wrażliwymi treściami.
- Konkurencyjne wynagrodzenie godzinowe.
- Możliwość współpracy z czołowymi badaczami.
- Wypłaty za polecenia do 90 USD za każde skuteczne polecenie, z zastrzeżeniem obowiązujących limitów.
- Racjonalne usprawnienia dostępne na życzenie.