51 – 200 Pracownicy
Dostępny profil Mercor nie zawiera wystarczających, zweryfikowanych informacji o produktach, usługach, klientach, sektorze ani obszarze rekrutacji firmy, aby przygotować dokładny opis. Do przedstawienia działalności firmy lub jej możliwości potrzebne są dodatkowe materiały źródłowe.
Ekspert ds. bezpieczeństwa AI (angielski i kannada) — zdalny kontrakt w Stanach Zjednoczonych
Mercor poszukuje specjalisty ds. red teamingu AI, biegle władającego językiem angielskim i kannada, do testowania najnowocześniejszych modeli pod kątem podatności. Praca obejmuje tworzenie odtwarzalnych przypadków ataków, zbiorów danych ewaluacyjnych i raportów dotyczących ryzyka na potrzeby projektów szkolenia AI z wykorzystaniem danych tworzonych przez ludzi.
Opis
- Testować konwersacyjne modele AI i agentów AI za pomocą jailbreaków, prompt injection, scenariuszy niewłaściwego użycia, wykorzystywania uprzedzeń i wieloetapowej manipulacji
- Tworzyć adnotacje do danych tworzonych przez ludzi, dokumentując błędy, kategoryzując podatności i identyfikując ryzyka systemowe
- Korzystać z ustalonych taksonomii, benchmarków i playbooków, aby zapewnić spójność ewaluacji
- Przygotowywać odtwarzalne raporty dla klientów, zbiory danych i przypadki ataków
- Oceniać odpowiedzi AI dotyczące wrażliwych tematów, w tym uprzedzeń, dezinformacji i szkodliwych zachowań
- Badać systemy AI pod kątem słabości, które mogą zostać pominięte przez automatyczne testy
- Poszerzać zakres ewaluacji, aby ograniczać ryzyko nieoczekiwanych problemów w środowisku produkcyjnym
- Wspierać szkolenie i doskonalenie najnowocześniejszych modeli na potrzeby laboratorium AI Mercor i klientów biznesowych
Wymagania
- Biegła znajomość języka angielskiego i kannada na poziomie ojczystym
- Umiejętność trafnej oceny, czy odpowiedzi AI są dokładne, kompletne i odpowiednie
- Jasna komunikacja umożliwiająca wyjaśnianie toku rozumowania odbiorcom technicznym i nietechnicznym
- Skrupulatna dbałość o subtelne błędy, niespójności i pominięcia
- Konsekwencja w stosowaniu taksonomii, benchmarków, playbooków, wytycznych i standardów jakości
- Elastyczność w pracy nad różnymi projektami, formatami zadań i dla różnych klientów
- Możliwość pracy jako niezależny wykonawca
- Brak potrzeby sponsorowania wizy H-1B lub STEM OPT; te formy sponsorowania nie są obsługiwane
- Atutem będzie odpowiednie doświadczenie w adversarial machine learning, cyberbezpieczeństwie, ryzyku socjotechnicznym, testowaniu konwersacyjnej AI, psychologii, aktorstwie lub niekonwencjonalnym pisaniu adversarialnym
Benefity
- W pełni zdalna praca z elastycznością samodzielnego ustalania grafiku
- Cotygodniowe płatności przez Stripe lub Wise za świadczone usługi
- Możliwość wyboru udziału w projektach obejmujących treści o podwyższonej wrażliwości
- Dostęp do jasnych wytycznych i zasobów wspierających dobrostan przy zadaniach związanych z wrażliwymi treściami
- Konkurencyjne wynagrodzenie
- Praktyczne doświadczenie w red teamingu AI opartym na danych tworzonych przez ludzi
- Współpraca z czołowymi badaczami
- Możliwość poproszenia o racjonalne usprawnienia w razie potrzeby
- Wypłaty za polecenia w wysokości do 90 USD za każde skuteczne polecenie