RBC
RBC
RBC est une institution mondiale de services financiers dont le siège se trouve au Canada. Ses activités couvrent les services bancaires, la finance, l’assurance, l’investissement, la gestion de patrimoine, la planification financière et les marchés des capitaux. Servant plus de 17 millions de clients au Canada, aux États-Unis et dans 27 autres pays, RBC compte plus de 94 000 employés. Son modèle diversifié associe des services financiers établis à une attention particulière portée à l’innovation et à l’expérience client.

Data Scientist principal, plateforme d’évaluation de l’IA

Pilotez la conception de cadres d’évaluation, de jeux de données et de contrôles qualité pour les systèmes d’IA d’entreprise de RBC. Définissez les normes techniques, soutenez les preuves de gouvernance et accompagnez les équipes de science des données partout au Canada.

Description

  • Développer des méthodes avancées d’évaluation des modèles et des agents à l’aide de jeux de données, de grilles d’évaluation, de techniques de LLM comme juge, de scores déterministes, de revues humaines et de cadres de mesure.
  • Établir des normes en science de l’évaluation qui transforment le risque lié aux modèles, l’IA responsable, la qualité des produits, la sécurité et les besoins commerciaux en critères mesurables et en processus reproductibles.
  • Gérer l’ensemble du cycle de vie des jeux de données et des tableaux de scores d’évaluation, de la collecte et de la curation à la validation, l’assurance qualité, la gestion des versions, la traçabilité, la réutilisation et l’amélioration continue.
  • Créer des stratégies d’évaluation évolutives pour l’IA générative et agentique aux niveaux de la tâche, du flux de travail, de la trajectoire et de l’exécution.
  • Collaborer avec les équipes de recherche en IA, d’ingénierie des plateformes, de produit, de risque, de gouvernance et d’affaires afin d’intégrer les évaluations aux processus de développement, de lancement, de certification, de surveillance et de recertification.
  • Élaborer des protocoles d’évaluation et de revue humaines fournissant des étiquettes fiables, des instructions pour les évaluateurs, des procédures d’arbitrage, des contrôles qualité et des preuves prêtes pour les audits.
  • Évaluer et améliorer la précision, l’étalonnage, la robustesse, la couverture des modes de défaillance et l’explicabilité des évaluateurs dans les méthodes d’évaluation automatisées et humaines.
  • Fournir une orientation technique, communiquer efficacement avec les cadres dirigeants et encadrer les data scientists juniors.

Exigences

  • Posséder au moins huit ans d’expérience en science des données, apprentissage automatique appliqué, évaluation de l’IA, qualité ML ou discipline technique connexe, y compris en leadership technique et en encadrement d’équipes.
  • Démontrer une solide expérience dans la création de cadres d’évaluation pour des systèmes d’apprentissage automatique, d’IA générative ou d’IA agentique, couvrant les métriques, les jeux de données, les benchmarks, les grilles d’évaluation et la mesure de la qualité.
  • Posséder une connaissance pratique des approches d’évaluation des LLM, notamment le LLM comme juge, les scores déterministes, la revue humaine, l’évaluation des hallucinations et de la factualité, l’évaluation de la sécurité et l’analyse comparative de la qualité des modèles.
  • Disposer de solides bases en science des données, statistiques, apprentissage automatique, expérimentation, curation des données, Python, SQL et pratiques actuelles de développement en IA et ML.
  • Traduire les exigences de gouvernance, de risque lié aux modèles, d’IA responsable et d’affaires en contrôles mesurables, processus d’évaluation reproductibles et preuves adaptées à la prise de décision.
  • Communiquer clairement et gérer efficacement les parties prenantes, avec la capacité d’influencer les hauts responsables de la recherche, de l’ingénierie, des produits, de la gouvernance, des risques et des affaires.
  • Posséder une expérience de l’évaluation de l’IA agentique, des flux de travail avec appels d’outils, du raisonnement en plusieurs étapes, des traces d’exécution, de la notation des trajectoires ou de la performance au niveau des flux de travail.
  • Avoir une expérience des services financiers, de l’IA réglementée, de la gestion du risque lié aux modèles, de l’IA responsable, de la gouvernance d’entreprise ou des processus de preuve prêts pour les audits.
  • Connaître MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, les pipelines CI/CD ou des outils comparables d’évaluation et d’observabilité.
  • Les publications, brevets, contributions open source ou expériences sectorielles en évaluation de l’IA, qualité ML, sécurité de l’IA, recherche appliquée ou IA responsable sont pertinents.

Avantages

  • Bénéficier d’un programme de rémunération globale comprenant des primes, des avantages flexibles, une rémunération concurrentielle, des commissions et, le cas échéant, des attributions d’actions.
  • Développer votre carrière auprès de dirigeants qui offrent du coaching et des possibilités de gestion.
  • Contribuer à un travail conçu pour créer un impact significatif et durable.
  • Rejoindre une équipe collaborative, progressiste, dynamique et hautement performante.
  • Accéder à un programme complet de formation axé sur les services financiers.
  • Relever des défis stimulants offrant des possibilités de croissance professionnelle.

Offres similaires

ADEAL Systems GmbH

Ingénieur·e senior en données, cloud et analytique

ADEAL Systems GmbH
11 – 50 Employés
ConseilLogistiqueVoyages

Concevez des solutions cloud, de données et d’analytique pour ADEAL Systems. Prenez la responsabilité technique de l’architecture, des pipelines de données et des projets clients.

Ouvrir
TEKsystems

Chef de projet en migration de données à distance chez TEKsystems

TEKsystems

Pilotez des initiatives de données d’entreprise, des migrations de rapports et l’adoption par les utilisateurs chez TEKsystems. Suivez les jalons, les risques, les dépendances et les communications avec les parties prenantes dans un poste à distance.

Ouvrir
TEKsystems

Chef de projet en intégration de plateformes de données à distance

TEKsystems

Coordonne des initiatives de données d’entreprise, des migrations de rapports et l’adoption par les utilisateurs pour les clients des services technologiques de TEKsystems. Soutient la gouvernance, le suivi des projets et la livraison entre les équipes métier et techniques.

Ouvrir
Lifelancer

Ingénieur principal en apprentissage automatique, IA générative (à distance, États-Unis)

Lifelancer

Pilotez des preuves de concept en grands modèles de langage, IA agentique et apprentissage automatique pour l’activité de médicaments biotechnologiques d’Amgen. Transformez les solutions validées en applications prêtes à être déployées à l’échelle de l’entreprise.

Ouvrir
Ambush

Ingénieur senior en apprentissage automatique et IA

Ambush

Concevez des solutions d’IA générative et des flux de travail avec agents, prêts pour la production, pour les clients d’Ambush dans les services financiers. Développez des services avec Python et FastAPI, des flux de données SQL, la génération augmentée par récupération et des systèmes d’IA dans le cloud.

Ouvrir
GFN

Ingénieur logiciel senior en apprentissage automatique

GFN

Développez l’infrastructure backend et des produits éducatifs intégrant l’IA pour GFN, un organisme allemand de formation. Créez des plateformes éducatives évolutives, en privilégiant une architecture logicielle robuste et l’apprentissage automatique appliqué.

Ouvrir
Upwind Security

Ingénieur en IA, agents LLM

Upwind Security
51 – 200 Employés
SaaSSécuritéSécurité cloud

Développez et déployez des agents LLM pour la plateforme de sécurité cloud d’Upwind Security. Étudiez, évaluez et concevez des workflows autonomes pour analyser et remédier aux menaces à l’exécution.

Ouvrir
TEKsystems

Responsable de projets de programmes de données à distance — Washington

TEKsystems

Coordonne les initiatives de données d’entreprise, les migrations de rapports ainsi que l’adoption de nouveaux processus et solutions de reporting pour TEKsystems. Suit l’avancement des projets, les risques, les livrables et les communications avec les parties prenantes métier et techniques.

Ouvrir
TEKsystems

Chef de projet données à distance

TEKsystems

Pilotez les programmes de données d’entreprise de TEKsystems, notamment la gouvernance, la migration des rapports, l’adoption par les utilisateurs et la coordination entre équipes. Il s’agit d’un contrat entièrement à distance basé à Seattle, dans l’État de Washington.

Ouvrir