RBC 是一家总部位于加拿大的全球金融服务机构，业务涵盖银行、金融、保险、投资、财富管理、财务规划和资本市场等领域。RBC 为加拿大、美国及其他 27 个国家和地区的超过 1,700 万名客户提供服务，拥有超过 94,000 名员工。其多元化业务模式将成熟的金融服务与对创新和客户体验的重视相结合。
资深数据科学家，AI 评估平台
负责为 RBC 的企业级 AI 系统设计评估框架、数据集和质量控制。 制定技术标准，支持治理证据建设，并指导加拿大各地的数据科学团队。
描述
- 使用数据集、评分标准、LLM-as-评审、确定性评分、人工审查和度量框架，为模型和智能体开发先进的评估方法。
- 建立评估科学标准，将模型风险、负责任 AI、产品质量、安全性和业务需求转化为可衡量的标准及可重复的流程。
- 管理评估数据集和评分卡的完整生命周期，从数据获取与整理，到验证、质量保证、版本管理、血缘追踪、复用和持续改进。
- 为生成式 AI 和智能体 AI 制定可扩展的评估策略，覆盖任务、工作流、轨迹和运行时层面。
- 与 AI 研究、平台工程、产品、风险、治理和业务团队协作，将评估融入开发、发布、认证、监控和再认证流程。
- 建立人工评估和审查协议，提供可靠的标签、审查员指引、裁决流程、质量控制和可供审计的证据。
- 评估并改进自动化和人工评估方法中的评分准确性、校准度、稳健性、故障模式覆盖率和可解释性。
- 提供技术指导，与高管进行有效沟通，并指导初级数据科学家。
任职要求
- 拥有至少八年数据科学、应用机器学习、AI 评估、机器学习质量或相关技术领域经验，包括技术领导和团队指导经验。
- 具备为机器学习、生成式 AI 或智能体 AI 系统创建评估框架的丰富经验，涵盖指标、数据集、基准、评分标准和质量度量。
- 掌握 LLM 评估方法的实际知识，例如 LLM-as-评审、确定性评分、人工审查、幻觉与事实性评估、安全性评估和模型质量基准测试。
- 具备扎实的数据科学、统计学、机器学习、实验设计、数据整理、Python、SQL 以及当前 AI/ML 开发实践基础。
- 能够将治理、模型风险、负责任 AI 和业务要求转化为可衡量的控制措施、可重复的评估流程以及适合决策的证据。
- 沟通清晰，能够有效管理利益相关者，并影响研究、工程、产品、治理、风险和业务职能中的高级领导者。
- 具备评估智能体 AI、工具调用工作流、多步推理、运行时轨迹、轨迹评分或工作流级性能的经验。
- 具备金融服务、受监管 AI、模型风险管理、负责任 AI、企业治理或可供审计的证据流程经验。
- 熟悉 MLflow、Langfuse、LangSmith、OpenTelemetry、Grafana、CI/CD 流水线或同类评估与可观测性工具。
- 在 AI 评估、机器学习质量、AI 安全、应用研究或负责任 AI 领域拥有出版物、专利、开源贡献或行业经验者优先。
福利待遇
- 享有全面奖励计划，包括奖金、灵活福利、具有竞争力的薪酬、佣金和适用的股票奖励。
- 在提供辅导和管理机会的领导者指导下发展职业生涯。
- 参与旨在创造有意义且持久影响的工作。
- 加入协作性强、进取、充满活力且表现卓越的团队。
- 参加以金融服务为重点的综合培训计划。
- 承担具有挑战性的工作，并获得职业成长机会。