ActiveFence to firma zajmująca się cyberbezpieczeństwem i sztuczną inteligencją, koncentrująca się na zaufaniu i bezpieczeństwie platform internetowych. Kompleksowa oferta firmy łączy badania analityczne, wykrywanie szkodliwych treści z wykorzystaniem AI oraz narzędzia do moderacji treści, pomagając platformom przeciwdziałać takim zagrożeniom jak wykorzystywanie seksualne dzieci, dezinformacja, mowa nienawiści, terroryzm, nagość, oszustwa i inne formy zagrożeń w internecie. ActiveFence wspiera zespoły zajmujące się zaufaniem i bezpieczeństwem, niezależnie od ich wielkości, pomagając chronić ponad trzy miliardy użytkowników na całym świecie w ponad 100 językach.
Starszy badacz AI – praca hybrydowa w Izraelu
Kieruj oceną uczenia ze wzmocnieniem, red teamingiem i audytami bezpieczeństwa otwartych modeli AI. Twórz potoki benchmarkingu i ewaluacji posttreningowej na potrzeby prac ActiveFence nad zaufaniem, bezpieczeństwem i ochroną AI.
Opis
- Prowadzenie ewaluacji posttreningowych, ćwiczeń red-teamowych i audytów środowisk uczenia ze wzmocnieniem dla modeli z otwartymi wagami
- Projektowanie rygorystycznych metodologii benchmarkingu
- Ocena dużych modeli językowych pod kątem zaawansowanych zagrożeń, w tym ataków typu Indirect Prompt Injection
- Tworzenie potoków ewaluacji posttreningowej mierzących realistyczne możliwości bezpieczeństwa na poziomie modeli frontierowych
- Prowadzenie eksperymentów posttreningowych, takich jak GRPO, z ogólnymi modelami o otwartych wagach w środowiskach uczenia ze wzmocnieniem skoncentrowanych na bezpieczeństwie
- Analizowanie bieżących krzywych straty i śladów rolloutów w celu wykrywania hackowania funkcji nagrody, leniwej zbieżności polityki i nieprawidłowo zdefiniowanych weryfikatorów
- Ocena zadań i środowisk wieloturowych obejmujących użycie narzędzi, nawigację po sieci i obsługę komputera pod kątem realizmu, dokładności modelu zagrożeń, rozkładu danych i równowagi zbioru danych
- Tworzenie kart ewaluacji obejmujących wzrost wyników punktów kontrolnych, tryby awarii, liczbę tokenów i tur rolloutów oraz wskaźniki sukcesu na poziomie zadań
- Integracja skonteneryzowanych środowisk Docker, w tym środowisk w formacie Harbor, z wewnętrznymi frameworkami treningowymi
- Ulepszanie semantyki resetowania i zachowania stanu, współbieżności oraz limitów przepustowości
Wymagania
- Tytuł magistra lub doktora w dziedzinie analityki danych, uczenia maszynowego, informatyki lub równoważne praktyczne doświadczenie w deep learningu
- Praktyczne doświadczenie w trenowaniu modeli na dużą skalę z użyciem algorytmów uczenia ze wzmocnieniem, takich jak GRPO lub PPO, na architekturach o otwartych wagach
- Dobra znajomość podatności LLM, praktyk red teamingu i defensywnego alignmentu przeciwko atakom typu Indirect Prompt Injection
- Biegłość w PyTorch, konteneryzacji Docker i architekturach rozproszonego treningu
- Umiejętność interpretowania śladów rolloutów agentów, tworzenia deterministycznych rubryk i weryfikatorów oraz debugowania złożonych problemów związanych z kształtowaniem nagrody
- Doświadczenie ze standardowymi formatami środowisk uczenia ze wzmocnieniem, takimi jak Harbor, będzie dodatkowym atutem
- Doświadczenie w ocenie złożonych przepływów agentowych w środowiskach wykorzystujących narzędzia lub przeglądarkę internetową będzie dodatkowym atutem
- Znajomość oceny modeli o otwartych wagach podobnych do Llama lub Mistral na obciążeniach adwersarialnych będzie dodatkowym atutem