ActiveFenceは、オンラインプラットフォームのトラスト＆セーフティに取り組むサイバーセキュリティおよび人工知能企業です。フルスタックのソリューションとして、インテリジェンス調査、AIを活用した有害コンテンツの検知、コンテンツモデレーションツールを組み合わせ、児童搾取、偽情報、ヘイトスピーチ、テロリズム、わいせつコンテンツ、詐欺など、さまざまなオンライン上の危害に関するリスクへの対応を支援しています。ActiveFenceは、規模の異なるトラスト＆セーフティチームを支援し、100以上の言語で世界30億人を超えるユーザーの保護に貢献しています。
シニアAI研究員――イスラエルでのハイブリッド勤務
オープンウェイトAIモデルの強化学習評価、レッドチーム演習、セキュリティ監査を主導します。ActiveFenceのAIの信頼性、安全性、セキュリティに関する取り組みのため、ベンチマークとポストトレーニングのパイプラインを構築します。
仕事内容
- オープンウェイトモデルのポストトレーニング評価、レッドチーム演習、強化学習ジムの監査を主導する
- 厳密なベンチマーク手法を設計する
- 間接プロンプトインジェクション攻撃を含む高度な脅威に対する大規模言語モデルの耐性を評価する
- 現実的なフロンティアレベルのセキュリティ能力を測定するポストトレーニング評価パイプラインを構築する
- セキュリティ重視の強化学習環境で、オープンウェイトの汎用モデルを用いたGRPOなどのポストトレーニング実験を実施する
- リアルタイムの損失曲線とロールアウトトレースを調査し、報酬ハッキング、怠惰な方策収束、不適切に仕様化された検証器を検出する
- ツール使用、ウェブナビゲーション、コンピュータ操作を伴うタスクとマルチターン環境について、現実性、脅威モデルの正確性、データ分布、データセットのバランスを評価する
- チェックポイントの性能向上、失敗モード、ロールアウトのトークン数とターン数、タスク単位の成功率を網羅した評価カードを作成する
- Harbor形式の環境を含むDocker化された環境を社内トレーニングフレームワークに統合する
- リセットとステートフル性のセマンティクス、並行性、スループット上限を改善する
応募要件
- データサイエンス、機械学習、コンピュータサイエンスの修士号または博士号、あるいは同等の実践的な深層学習経験
- GRPOやPPOなどの強化学習アルゴリズムを用い、オープンウェイトアーキテクチャで大規模モデルをトレーニングした実務経験
- 大規模言語モデルの脆弱性、レッドチーム手法、間接プロンプトインジェクション攻撃に対する防御的アラインメントに関する深い知識
- PyTorch、Dockerコンテナ化、分散トレーニングアーキテクチャに習熟していること
- エージェントのロールアウトトレースを解釈し、決定論的な評価基準と検証器を作成し、複雑な報酬設計の問題をデバッグできること
- Harborなどの標準的な強化学習ジム形式の経験があれば尚可
- ツール使用またはウェブブラウザ環境における複雑なエージェントワークフローの評価経験があれば尚可
- LlamaやMistralに類するオープンウェイトモデルを敵対的ワークロードに対して評価した経験があれば尚可
