AI安全エキスパート――英語・テルグ語（リモート契約）
Mercor向けに会話型AIモデルとエージェントのレッドチーム評価を実施し、敵対的テストによって脆弱性を特定します。英語とテルグ語の性能に焦点を当て、高品質なデータセット、攻撃ケース、明確なレポートを作成します。
仕事内容
- 会話型AIモデルとエージェントを対象に、脱獄、プロンプトインジェクション、悪用シナリオ、バイアスの悪用、多ターン操作についてテストする
- 失敗事例のラベル付け、脆弱性の分類、体系的なリスクの特定を通じて、人手で生成したデータを作成する
- 確立された分類体系、ベンチマーク、プレイブックを使用し、一貫した評価を実施する
- 再現可能なレポート、データセット、敵対的攻撃ケースを作成する
- バイアス、誤情報、有害行動、その他の機微なテーマに関するAIの応答を評価する
- 自動評価手法では見落とされる可能性のある弱点を特定する
- 評価範囲を広げ、実運用環境で予期せぬ問題が発生するのを防ぐ
- 体系的な敵対的テストを通じて顧客のAIシステムを改善する
応募要件
- 英語とテルグ語の両方をネイティブレベルで流暢に使えること
- 言語とコンテンツを評価する際の適切な判断力
- AIの応答が正確、完全、適切かどうかを判断し、その理由を説明できること
- 微妙な誤り、不整合、抜け漏れに気づく非常に高い注意力
- ガイドラインと品質基準を一貫して遵守できること
- 技術者と非技術者の双方に判断理由を明確に伝えられること
- さまざまなプロジェクト、タスク形式、顧客に柔軟に対応できること
- 独立請負業者として働けること
- H-1BまたはSTEM OPTのスポンサーを必要としないこと
- 敵対的機械学習、サイバーセキュリティ、社会技術的リスク、または創造的なプロービングの経験があれば望ましい
福利厚生
- 完全なリモート勤務
- 都合に合わせて柔軟なスケジュールを選択できる
- StripeまたはWiseを通じて毎週支払いを受けられる
- プロジェクト期間は事業上の必要性や業績に応じて変更または早期終了となる場合がある
- ウェルネスリソースと、高い配慮が必要な業務に関する明確なガイダンスを利用できる
- 人手によるデータを活用したAIレッドチームの経験を積める
- より堅牢で安全、信頼できるAIシステムの実現に貢献できる
- 競争力のある報酬を受け取れる
- 第一線の研究者と協働できる
- 必要に応じて合理的配慮を受けられる