RBC 是一家總部位於加拿大的全球金融服務機構，業務涵蓋銀行、金融、保險、投資、財富管理、財務規劃及資本市場等領域。RBC 為加拿大、美國及其他 27 個國家和地區的超過 1,700 萬名客戶提供服務，擁有超過 94,000 名員工。其多元化的業務模式結合成熟的金融服務，並專注於創新與客戶體驗。
資深資料科學家，AI 評估平台
負責為 RBC 的企業級 AI 系統設計評估框架、資料集與品質控管。 制定技術標準，支援治理證據建置，並指導加拿大各地的資料科學團隊。
說明
- 運用資料集、評分規準、LLM-as-評審、確定性評分、人工審查與衡量框架，為模型和智能代理開發進階評估方法。
- 建立評估科學標準，將模型風險、負責任 AI、產品品質、安全性與業務需求轉化為可衡量的準則及可重複的流程。
- 管理評估資料集與評分卡的完整生命週期，從資料取得與整理，到驗證、品質保證、版本管理、譜系追蹤、重複使用與持續改進。
- 為生成式 AI 與智能代理 AI 建立可擴展的評估策略，涵蓋任務、工作流程、軌跡與執行階段層級。
- 與 AI 研究、平台工程、產品、風險、治理及業務團隊合作，將評估整合至開發、發布、認證、監控與再認證流程。
- 建立人工評估與審查協議，提供可靠的標籤、審查人員指引、裁決程序、品質控管與可供稽核的證據。
- 評估並改善自動化與人工評估方法中的評分準確度、校準度、穩健性、失效模式涵蓋率與可解釋性。
- 提供技術指導，與高階主管有效溝通，並指導初階資料科學家。
職位要求
- 具備至少八年資料科學、應用機器學習、AI 評估、機器學習品質或相關技術領域經驗，包括技術領導與團隊指導經驗。
- 具備為機器學習、生成式 AI 或智能代理 AI 系統建立評估框架的豐富經驗，涵蓋指標、資料集、基準、評分規準與品質衡量。
- 具備 LLM 評估方法的實務知識，例如 LLM-as-評審、確定性評分、人工審查、幻覺與事實性評估、安全性評估及模型品質基準測試。
- 具備紮實的資料科學、統計學、機器學習、實驗設計、資料整理、Python、SQL 以及當前 AI/ML 開發實務基礎。
- 能將治理、模型風險、負責任 AI 與業務要求轉化為可衡量的控制措施、可重複的評估流程及適合決策的證據。
- 溝通清晰且能有效管理利害關係人，能影響研究、工程、產品、治理、風險與業務職能中的資深領導者。
- 具備評估智能代理 AI、工具呼叫工作流程、多步驟推理、執行階段追蹤、軌跡評分或工作流程層級效能的經驗。
- 具備金融服務、受監管 AI、模型風險管理、負責任 AI、企業治理或可供稽核的證據流程經驗。
- 熟悉 MLflow、Langfuse、LangSmith、OpenTelemetry、Grafana、CI/CD 管線或同類型的評估與可觀測性工具。
- 在 AI 評估、機器學習品質、AI 安全、應用研究或負責任 AI 領域擁有出版品、專利、開源貢獻或產業經驗者均與職務相關。
福利待遇
- 享有完整的總獎酬計畫，包括獎金、彈性福利、具競爭力的薪酬、佣金及適用的股票獎勵。
- 在提供教練指導與管理機會的領導者帶領下發展職涯。
- 參與旨在創造有意義且持久影響的工作。
- 加入重視合作、進取、充滿活力且績效卓越的團隊。
- 參加以金融服務為重點的完整培訓計畫。
- 承擔具挑戰性的工作，並獲得專業成長機會。