ActiveFence는 온라인 플랫폼의 신뢰와 안전을 지원하는 사이버 보안 및 인공지능 기업입니다. 인텔리전스 리서치, 인공지능 기반 유해 콘텐츠 탐지, 콘텐츠 조정 도구를 결합한 풀스택 솔루션을 제공하여 아동 착취, 허위 정보, 혐오 발언, 테러리즘, 노출 콘텐츠, 사기 및 기타 온라인 유해 행위와 관련된 위험에 대응할 수 있도록 돕습니다. ActiveFence는 규모가 다양한 신뢰·안전 팀을 지원하며, 100개 이상의 언어로 전 세계 30억 명이 넘는 사용자를 보호할 수 있도록 돕습니다.
시니어 AI 연구원—이스라엘 하이브리드 근무
오픈 웨이트 AI 모델의 강화학습 평가, 레드팀 활동, 보안 감사를 주도합니다. ActiveFence의 AI 신뢰성, 안전성 및 보안 업무를 위한 벤치마킹 및 사후 학습 파이프라인을 구축합니다.
설명
- 오픈 웨이트 모델의 사후 학습 평가, 레드팀 활동 및 강화학습 환경 감사를 주도
- 엄격한 벤치마킹 방법론을 설계
- 간접 프롬프트 인젝션 공격을 포함한 정교한 위협에 대해 대규모 언어 모델을 평가
- 현실적인 프런티어 수준의 보안 역량을 측정하는 사후 학습 평가 파이프라인을 구축
- 보안 중심 강화학습 환경에서 오픈 웨이트 범용 모델을 사용해 GRPO와 같은 사후 학습 실험을 수행
- 실시간 손실 곡선과 롤아웃 추적을 검토해 보상 해킹, 느슨한 정책 수렴, 잘못 명세된 검증기를 탐지
- 도구 사용, 웹 탐색 및 컴퓨터 사용이 포함된 작업과 다중 턴 환경의 현실성, 위협 모델 정확성, 데이터 분포 및 데이터셋 균형을 평가
- 체크포인트 성능 향상, 실패 모드, 롤아웃 토큰 및 턴 수, 작업 수준 성공률을 다루는 평가 카드를 작성
- Harbor 형식 환경을 포함한 Docker 컨테이너화 환경을 내부 학습 프레임워크에 통합
- 리셋 및 상태 유지 의미 체계, 동시성, 처리량 한도를 개선
지원 자격
- 데이터 과학, 머신러닝 또는 컴퓨터 과학 석사 또는 박사 학위, 혹은 이에 상응하는 실무 딥러닝 경험
- GRPO 또는 PPO와 같은 강화학습 알고리즘을 사용해 오픈 웨이트 아키텍처에서 대규모 모델을 학습시킨 실무 경험
- 대규모 언어 모델 취약성, 레드팀 관행 및 간접 프롬프트 인젝션 공격에 대한 방어적 정렬에 관한 깊은 지식
- PyTorch, Docker 컨테이너화 및 분산 학습 아키텍처에 능숙
- 에이전트 롤아웃 추적을 해석하고 결정론적 평가 기준과 검증기를 만들며 복잡한 보상 형성 문제를 디버깅할 수 있는 능력
- Harbor와 같은 표준 강화학습 환경 형식 경험 보유자 우대
- 도구 사용 또는 웹 브라우저 환경에서 복잡한 에이전트 워크플로를 평가한 경험 보유자 우대
- Llama 또는 Mistral과 유사한 오픈 웨이트 모델을 적대적 워크로드에 대해 평가한 경험 보유자 우대