ActiveFence
ActiveFence
ActiveFence è un’azienda di cybersicurezza e intelligenza artificiale specializzata nella fiducia e nella sicurezza delle piattaforme online. La sua offerta completa combina ricerca di intelligence, rilevamento dei contenuti dannosi basato sull’intelligenza artificiale e strumenti di moderazione dei contenuti per aiutare le piattaforme ad affrontare rischi come lo sfruttamento minorile, la disinformazione, i discorsi d’odio, il terrorismo, la nudità, le frodi e altre forme di danno online. ActiveFence supporta team di fiducia e sicurezza di diverse dimensioni, contribuendo a proteggere più di tre miliardi di utenti in tutto il mondo e in oltre 100 lingue.

Ricercatore senior di IA – Ibrido in Israele

Guidare la valutazione del reinforcement learning, gli esercizi di red teaming e gli audit di sicurezza per modelli di IA open-weight. Creare pipeline di benchmarking e post-training per le attività di fiducia, sicurezza e protezione dell’IA di ActiveFence.

Descrizione

  • Guidare le valutazioni post-training, gli esercizi di red teaming e gli audit delle palestre di reinforcement learning per modelli open-weight
  • Progettare metodologie di benchmarking rigorose
  • Valutare i modelli linguistici di grandi dimensioni rispetto a minacce sofisticate, inclusi gli attacchi di Indirect Prompt Injection
  • Creare pipeline di valutazione post-training che misurino capacità di sicurezza realistiche di livello frontier
  • Condurre esperimenti post-training, come GRPO, con modelli generalisti open-weight in ambienti di reinforcement learning orientati alla sicurezza
  • Esaminare le curve di perdita in tempo reale e le tracce dei rollout per rilevare reward hacking, convergenza pigra delle policy e verificatori mal specificati
  • Valutare attività e ambienti multi-turno che coinvolgono l’uso di strumenti, la navigazione web e l’uso del computer in termini di realismo, accuratezza del modello delle minacce, distribuzione dei dati ed equilibrio del dataset
  • Produrre schede di valutazione che coprano i miglioramenti delle prestazioni dei checkpoint, le modalità di errore, i token e i turni dei rollout e i tassi di successo a livello di attività
  • Integrare ambienti Dockerizzati, inclusi gli ambienti in formato Harbor, nei framework interni di training
  • Migliorare la semantica di reset e gestione dello stato, la concorrenza e i limiti di throughput

Requisiti

  • Laurea magistrale o dottorato in Data Science, Machine Learning, Informatica o esperienza pratica equivalente nel deep learning
  • Esperienza pratica nell’addestramento di modelli su larga scala con algoritmi di reinforcement learning come GRPO o PPO su architetture open-weight
  • Solida conoscenza delle vulnerabilità degli LLM, delle pratiche di red teaming e dell’allineamento difensivo contro gli attacchi di Indirect Prompt Injection
  • Padronanza di PyTorch, della containerizzazione Docker e delle architetture di training distribuito
  • Capacità di interpretare le tracce dei rollout degli agenti, creare rubriche e verificatori deterministici e risolvere problemi complessi di definizione delle ricompense
  • È preferibile esperienza con formati standard di ambienti di reinforcement learning come Harbor
  • È preferibile esperienza nella valutazione di flussi di lavoro agentici complessi in ambienti con utilizzo di strumenti o browser web
  • È preferibile familiarità con la valutazione di modelli open-weight simili a Llama o Mistral rispetto a carichi di lavoro avversariali

Offerte correlate

NVIDIA

Senior engineer di temporizzazione dei circuiti, NVIDIA (da remoto, California)

NVIDIA

Progetta circuiti per processori NVIDIA destinati alla sicurezza hardware, al clock adattivo e alla gestione dell’alimentazione. Guida la verifica dei tempi e l’analisi a livello di transistor, applicando metodi di IA e apprendimento automatico alla progettazione del silicio.

Apri