AI安全レッドチーム専門家——英語・タミル語、リモート契約
敵対的プロービングと体系的なレッドチーム分析を通じて、会話型AIモデルとエージェントの脆弱性を検証します。 MercorのAIラボの顧客向けに、攻撃ケース、脆弱性データ、再現可能なレポートを作成します。
仕事内容
- 脱獄、プロンプトインジェクション、悪用シナリオ、バイアスの悪用、多段階の操作を用いて会話型AIモデルとエージェントを検証する
- 失敗を記録し、脆弱性を分類し、体系的なリスクを特定して、人手でラベル付けしたデータを作成する
- 確立された分類体系、ベンチマーク、プレイブックを使用し、一貫した評価を維持する
- 顧客向けに再現可能なレポート、データセット、攻撃ケースを作成する
- バイアス、誤情報、有害な行動、その他のセンシティブなトピックを含むAI出力を評価する
- 自動テストでは見落とされる可能性のある弱点を特定する
- 評価範囲を広げ、実運用環境で予期しない問題が発生するのを防ぐ
- 顧客のAIシステムを改善し、より安全で信頼性の高いモデルに貢献する
応募要件
- 英語とタミル語の両方を母語レベルで流暢に使えること
- 言語とコンテンツを評価する際の適切な判断力
- AIの回答が正確、完全、適切かを判断し、その評価を説明できること
- 微妙な誤り、不整合、抜け漏れに細心の注意を払えること
- ガイドラインと品質基準を一貫して適用できること
- 技術者と非技術者の双方に推論を明確に伝えられること
- プロジェクト、タスク形式、顧客の違いに柔軟に対応できること
- 歓迎条件：脱獄データセット、プロンプトインジェクション、RLHFまたはDPO攻撃、モデル抽出などの敵対的機械学習の経験
- 歓迎条件：ペネトレーションテスト、エクスプロイト開発、リバースエンジニアリングなどのサイバーセキュリティ経験
- 歓迎条件：ハラスメントや偽情報のプロービング、悪用分析、会話型AIテストなど、社会技術的リスクの経験
- 歓迎条件：心理学、演技、執筆における創造的なプロービング経験
- 独立請負業者として勤務できること
- H-1BおよびSTEM OPTの候補者は対象外
福利厚生
- 完全リモート勤務
- 勤務時間を自分で設定できる柔軟なスケジュール
- StripeまたはWiseによる週払い
- 競争力のある時給報酬
- フロンティア安全性に重点を置く、人間データ主導のAIレッドチームに関する経験を得られる機会
- より堅牢で安全かつ信頼できるAIシステムに直接貢献できる機会
- より高いセンシティビティのプロジェクトに任意で参加可能
- センシティブなコンテンツを扱うプロジェクト向けのガイドラインとウェルネスリソース
- 要請に応じて合理的配慮を利用可能
- 紹介プログラム：紹介制限を条件として、成功した紹介1件につき最大90ドル