ActiveFence ist ein Unternehmen für Cybersicherheit und künstliche Intelligenz, das sich auf Vertrauen und Sicherheit auf Online-Plattformen konzentriert. Das ganzheitliche Angebot kombiniert Informationsrecherche, KI-gestützte Erkennung schädlicher Inhalte und Tools zur Inhaltsmoderation, um Plattformen beim Umgang mit Risiken wie sexueller Ausbeutung von Kindern, Desinformation, Hassrede, Terrorismus, Nacktheit, Betrug und anderen Formen von Online-Schädigung zu unterstützen. ActiveFence unterstützt Trust-and-Safety-Teams unterschiedlicher Größe und trägt weltweit in mehr als 100 Sprachen zum Schutz von über drei Milliarden Nutzern bei.
Senior-KI-Forscher – Hybrid in Israel
Leite die Evaluierung von Reinforcement Learning, Red-Teaming und Sicherheitsprüfungen für Open-Weight-KI-Modelle. Entwickle Benchmarking- und Post-Training-Pipelines für die Arbeit von ActiveFence an Vertrauen, Sicherheit und Schutz von KI.
Beschreibung
- Leite Post-Training-Evaluierungen, Red-Team-Übungen und Audits von Reinforcement-Learning-Umgebungen für Open-Weight-Modelle
- Entwickle rigorose Benchmarking-Methoden
- Bewerte Large Language Models anhand ausgefeilter Bedrohungen, einschließlich Angriffen durch indirekte Prompt-Injection
- Entwickle Post-Training-Evaluierungspipelines, die realistische Sicherheitsfähigkeiten auf dem Niveau von Frontier-Modellen messen
- Führe Post-Training-Experimente wie GRPO mit offenen, generalistischen Modellen in sicherheitsorientierten Reinforcement-Learning-Umgebungen durch
- Untersuche Live-Loss-Kurven und Rollout-Traces, um Reward Hacking, träge Policy-Konvergenz und unzureichend spezifizierte Verifizierer zu erkennen
- Bewerte Aufgaben und Multi-Turn-Umgebungen mit Tool-Nutzung, Webnavigation und Computernutzung hinsichtlich Realismus, Genauigkeit des Bedrohungsmodells, Datenverteilung und Ausgewogenheit des Datensatzes
- Erstelle Evaluierungskarten mit Angaben zu Leistungssteigerungen von Checkpoints, Fehlermodi, Rollout-Tokens und -Turns sowie Erfolgsquoten auf Aufgabenebene
- Integriere containerisierte Docker-Umgebungen, einschließlich Umgebungen im Harbor-Format, in interne Trainingsframeworks
- Verbessere die Semantik von Zurücksetzungen und Zustandsbehaftung sowie Nebenläufigkeit und Durchsatzgrenzen
Anforderungen
- Masterabschluss oder Promotion in Data Science, Machine Learning, Informatik oder gleichwertige praktische Erfahrung im Bereich Deep Learning
- Praktische Erfahrung beim Training groß angelegter Modelle mit Reinforcement-Learning-Algorithmen wie GRPO oder PPO auf Open-Weight-Architekturen
- Fundierte Kenntnisse über Schwachstellen von LLMs, Red-Teaming-Praktiken und defensive Ausrichtung gegen Angriffe durch indirekte Prompt-Injection
- Sicherer Umgang mit PyTorch, Docker-Containerisierung und Architekturen für verteiltes Training
- Fähigkeit, Agenten-Rollout-Traces zu interpretieren, deterministische Rubriken und Verifizierer zu erstellen sowie komplexe Probleme bei der Reward-Gestaltung zu beheben
- Erfahrung mit gängigen Reinforcement-Learning-Gym-Formaten wie Harbor ist von Vorteil
- Erfahrung mit der Bewertung komplexer agentischer Workflows in Umgebungen mit Tool-Nutzung oder Webbrowsern ist von Vorteil
- Vertrautheit mit der Bewertung von Open-Weight-Modellen ähnlich Llama oder Mistral anhand adversarialer Workloads ist von Vorteil