Mercor AI セーフティ専門家――英語・グジャラート語、米国リモート契約
Mercorのために、対話型AIモデルとエージェントの人手によるレッドチーム評価を実施します。英語とグジャラート語で、脆弱性データ、攻撃シナリオ、再現可能な安全性評価を作成します。
仕事内容
- ジェイルブレイク、プロンプトインジェクション、悪用シナリオ、バイアスの悪用、マルチターン操作を用いて、対話型AIモデルとエージェントをレッドチームテストする
- 失敗をアノテーションし、脆弱性を分類して、体系的なリスクをエスカレーションする
- 確立された分類体系、ベンチマーク、プレイブックを使用し、一貫した評価を維持する
- 再現可能なレポート、データセット、攻撃シナリオを作成する
- バイアス、誤情報、有害な行動、その他のセンシティブなトピックに関するAI出力を評価する
- 自動テストでは見落とされる可能性のある弱点を検出する
- 評価範囲を広げ、実運用環境での予期しない問題の抑制に役立てる
- 人手で生成したデータ駆動型のレッドチームテストを通じて、顧客のAIシステムを改善する
応募要件
- 英語とグジャラート語を母語レベルで流暢に使えること
- 言語とコンテンツを評価する際の適切な判断力
- AIの回答が正確、完全、適切かを判断し、その評価を説明できること
- 微妙な誤り、不整合、抜け漏れに対する高い注意力
- ガイドラインと品質基準を一貫して遵守できること
- 技術系・非技術系双方の相手に推論を明確に伝えられること
- プロジェクト、タスク形式、顧客の違いに柔軟に対応できること
- 独立請負業者として働く意思があること
- H-1BまたはSTEM OPTの候補者ではないこと
- 敵対的機械学習、サイバーセキュリティ、社会技術的リスク、または創造的なプロービングの専門知識があれば尚可
福利厚生
- 完全リモートの契約業務
- 柔軟なスケジュール
- StripeまたはWiseを通じた週払い
- より高い機密性を伴うプロジェクトへの参加機会
- センシティブなコンテンツを扱う業務向けのガイダンスとウェルネスリソース
- 競争力のある報酬
- 著名な研究者と協働する機会
- 申請に応じて合理的配慮を提供
- 紹介プログラム：紹介が成功するごとに最大90ドル