RBCはカナダに本社を置くグローバルな金融サービス機関で、銀行、金融、保険、投資、ウェルスマネジメント、ファイナンシャルプランニング、資本市場などの事業を展開しています。カナダ、米国、その他27か国の1,700万人を超える顧客にサービスを提供し、従業員数は94,000人を超えています。多様な事業モデルを通じて、確立された金融サービスとイノベーションおよび顧客体験への注力を組み合わせています。
スタッフデータサイエンティスト、AI評価プラットフォーム
RBCのエンタープライズAIシステム向けに、評価フレームワーク、データセット、品質管理を設計します。 技術標準を策定し、ガバナンスの証跡を支援するとともに、カナダ各地のデータサイエンスチームを指導します。
仕事内容
- データセット、ルーブリック、LLM-as-a-judge手法、決定論的スコアリング、人手レビュー、測定フレームワークを用いて、モデルとエージェントの高度な評価手法を開発する。
- モデルリスク、責任あるAI、製品品質、安全性、ビジネスニーズを測定可能な基準と再現可能なプロセスに変換する評価科学の標準を確立する。
- 評価用データセットとスコアカードの調達・キュレーションから、検証、品質保証、バージョン管理、リネージ、再利用、継続的改善まで、ライフサイクル全体を管理する。
- 生成AIおよびエージェント型AIについて、タスク、ワークフロー、軌跡、ランタイムの各レベルを対象とする拡張可能な評価戦略を策定する。
- AI研究、プラットフォームエンジニアリング、製品、リスク、ガバナンス、ビジネスの各チームと連携し、開発、リリース、認証、モニタリング、再認証のプロセスに評価を組み込む。
- 信頼性の高いラベル、レビュアー向け指示、裁定手順、品質管理、監査対応可能な証跡を提供する人手評価・レビュー手順を構築する。
- 自動評価と人手評価の手法について、スコアラーの精度、キャリブレーション、堅牢性、失敗モードの網羅性、説明可能性を評価・改善する。
- 技術的な方向性を示し、経営幹部と効果的にコミュニケーションを取り、ジュニアデータサイエンティストを指導する。
応募要件
- データサイエンス、応用機械学習、AI評価、ML品質、または関連する技術分野で8年以上の経験があり、技術リーダーシップとチーム指導の経験を有する。
- 機械学習、生成AI、またはエージェント型AIシステム向けの評価フレームワークを作成した豊富な経験があり、指標、データセット、ベンチマーク、ルーブリック、品質測定を網羅している。
- LLM-as-a-judge、決定論的スコアリング、人手レビュー、ハルシネーションと事実性の評価、安全性評価、モデル品質ベンチマークなど、LLM評価手法の実務知識がある。
- データサイエンス、統計、機械学習、実験、データキュレーション、Python、SQL、および最新のAI/ML開発プラクティスに関する確かな基礎がある。
- ガバナンス、モデルリスク、責任あるAI、ビジネス要件を、測定可能な管理策、再現可能な評価プロセス、意思決定に適した証跡へと変換できる。
- 明確なコミュニケーション能力とステークホルダー管理能力があり、研究、エンジニアリング、製品、ガバナンス、リスク、ビジネスの各機能におけるシニアリーダーに影響を与えられる。
- エージェント型AI、ツール呼び出しワークフロー、複数ステップ推論、ランタイムトレース、軌跡スコアリング、またはワークフローレベルの性能評価の経験がある。
- 金融サービス、規制対象AI、モデルリスク管理、責任あるAI、エンタープライズガバナンス、または監査対応可能な証跡プロセスの経験がある。
- MLflow、Langfuse、LangSmith、OpenTelemetry、Grafana、CI/CDパイプライン、または同等の評価・オブザーバビリティツールに精通している。
- AI評価、ML品質、AI安全性、応用研究、責任あるAIの分野における出版物、特許、オープンソースへの貢献、または業界経験があれば関連する。
福利厚生
- ボーナス、柔軟な福利厚生、競争力のある報酬、コミッション、該当する株式報酬を含むTotal Rewards Programを受けられる。
- コーチングとマネジメントの機会を提供するリーダーのもとでキャリアを築ける。
- 有意義で長期的なインパクトを生み出すことを目指す仕事に貢献できる。
- 協力的で先進的、活気があり、高い成果を上げるチームに参加できる。
- 金融サービスに重点を置いた包括的なトレーニングプログラムを利用できる。
- 挑戦的な仕事に取り組み、専門的に成長する機会を得られる。