ActiveFence è un’azienda di cybersicurezza e intelligenza artificiale specializzata nella fiducia e nella sicurezza delle piattaforme online. La sua offerta completa combina ricerca di intelligence, rilevamento dei contenuti dannosi basato sull’intelligenza artificiale e strumenti di moderazione dei contenuti per aiutare le piattaforme ad affrontare rischi come lo sfruttamento minorile, la disinformazione, i discorsi d’odio, il terrorismo, la nudità, le frodi e altre forme di danno online. ActiveFence supporta team di fiducia e sicurezza di diverse dimensioni, contribuendo a proteggere più di tre miliardi di utenti in tutto il mondo e in oltre 100 lingue.
Red team IA: valutazione avversaria dell’IA generativa presso ActiveFence
Sviluppa attacchi avversari, dataset e benchmark per la piattaforma di sicurezza IA di ActiveFence. Verifica la robustezza degli LLM con attività di red teaming e ricerca di vulnerabilità.
Descrizione
- Progettare nuovi attacchi avversari.
- Contribuire a creare sistemi scalabili per generare e testare attacchi su vasta scala.
- Valutare qualità, efficacia, novità e riproducibilità degli attacchi.
- Individuare nuovi schemi di attacco e vulnerabilità dei modelli.
- Creare dataset avversari, benchmark e test di regressione.
- Condividere risultati, metodi e dati strutturati sugli attacchi con i team di Data Science, Sicurezza e Ingegneria.
- Contribuire a migliorare la robustezza dei modelli e le relative difese.
Requisiti
- Almeno tre anni di esperienza professionale in cybersicurezza, ricerca sulla sicurezza, red teaming o in un settore affine.
- Laurea triennale in Data Science, Ingegneria informatica, Informatica o in un ambito tecnico strettamente correlato.
- Ottima conoscenza dei modelli linguistici di grandi dimensioni, della prompt injection e della sicurezza dell’IA.
- Esperienza in red teaming, ricerca sulla sicurezza o test avversari.
- Ottima conoscenza di Python e dell’automazione.
- Creatività nella risoluzione dei problemi e capacità di sviluppare nuove tecniche di attacco.
- Capacità di analizzare i risultati e comunicare chiaramente le proprie conclusioni.
- Sono apprezzate certificazioni di cybersicurezza offensiva come OSWA, OSWE, OSCE3, SEC542 o SEC522.