A ActiveFence é uma empresa de cibersegurança e inteligência artificial focada em confiança e segurança para plataformas online. Sua oferta completa combina pesquisa de inteligência, detecção de conteúdo nocivo com tecnologia de IA e ferramentas de moderação de conteúdo para ajudar as plataformas a lidar com riscos como exploração infantil, desinformação, discurso de ódio, terrorismo, nudez, fraude e outras formas de danos online. A ActiveFence apoia equipes de confiança e segurança de diferentes tamanhos, ajudando a proteger mais de três bilhões de usuários em todo o mundo em mais de 100 idiomas.
Pesquisador(a) Sênior de IA – Híbrido em Israel
Liderar avaliações de aprendizado por reforço, exercícios de red teaming e auditorias de segurança de modelos de IA de pesos abertos. Criar pipelines de benchmarking e pós-treinamento para o trabalho de confiança, segurança e proteção de IA da ActiveFence.
Descrição
- Liderar avaliações pós-treinamento, exercícios de red teaming e auditorias de ambientes de aprendizado por reforço para modelos de pesos abertos
- Projetar metodologias rigorosas de benchmarking
- Avaliar modelos de linguagem de grande porte contra ameaças sofisticadas, incluindo ataques de injeção indireta de prompts
- Criar pipelines de avaliação pós-treinamento que meçam capacidades de segurança realistas e de nível frontier
- Executar experimentos pós-treinamento, como GRPO, com modelos generalistas de pesos abertos em ambientes de aprendizado por reforço focados em segurança
- Examinar curvas de perda em tempo real e rastros de rollouts para detectar hacking de recompensas, convergência preguiçosa de políticas e verificadores mal especificados
- Avaliar tarefas e ambientes com múltiplos turnos que envolvam uso de ferramentas, navegação na web e uso do computador quanto ao realismo, à precisão do modelo de ameaças, à distribuição de dados e ao equilíbrio do conjunto de dados
- Produzir fichas de avaliação que abranjam ganhos de desempenho dos checkpoints, modos de falha, tokens e turnos dos rollouts e taxas de sucesso por tarefa
- Integrar ambientes Dockerizados, incluindo ambientes no formato Harbor, a frameworks internos de treinamento
- Aprimorar a semântica de reset e manutenção de estado, a concorrência e os limites de throughput
Requisitos
- Mestrado ou doutorado em Ciência de Dados, Aprendizado de Máquina, Ciência da Computação ou experiência prática equivalente em aprendizado profundo
- Experiência prática no treinamento de modelos de grande escala com algoritmos de aprendizado por reforço, como GRPO ou PPO, em arquiteturas de pesos abertos
- Sólido conhecimento sobre vulnerabilidades de LLMs, práticas de red teaming e alinhamento defensivo contra ataques de injeção indireta de prompts
- Proficiência em PyTorch, conteinerização com Docker e arquiteturas de treinamento distribuído
- Capacidade de interpretar rastros de rollouts de agentes, criar rubricas e verificadores determinísticos e depurar problemas complexos de definição de recompensas
- Experiência com formatos padrão de ambientes de aprendizado por reforço, como Harbor, é desejável
- Experiência na avaliação de fluxos de trabalho agênticos complexos em ambientes de uso de ferramentas ou navegadores web é desejável
- Familiaridade com a avaliação de modelos de pesos abertos semelhantes a Llama ou Mistral contra cargas de trabalho adversariais é desejável