RBC
RBC
RBC is een wereldwijd opererende financiële dienstverlener met het hoofdkantoor in Canada. De activiteiten omvatten bankieren, financiering, verzekeringen, beleggen, vermogensbeheer, financiële planning en kapitaalmarkten. RBC bedient meer dan 17 miljoen klanten in Canada, de Verenigde Staten en 27 andere landen en heeft meer dan 94.000 medewerkers. Het gediversifieerde model combineert gevestigde financiële diensten met een sterke focus op innovatie en klantervaring.

Staff Data Scientist, AI-evaluatieplatform

Geef leiding aan het ontwerpen van evaluatiekaders, datasets en kwaliteitscontroles voor RBC’s enterprise-AI-systemen. Stel technische standaarden vast, ondersteun governance-bewijsvoering en begeleid data-scienceteams in heel Canada.

Beschrijving

  • Ontwikkel geavanceerde evaluatiemethoden voor modellen en agents met datasets, beoordelingsrubrieken, LLM-as-judge-technieken, deterministische scoring, menselijke beoordeling en meetkaders.
  • Stel standaarden voor evaluatiewetenschap vast die modelrisico, verantwoorde AI, productkwaliteit, veiligheid en bedrijfsbehoeften vertalen naar meetbare criteria en herhaalbare processen.
  • Beheer de volledige levenscyclus van evaluatiedatasets en scorecards, van sourcing en curatie tot validatie, kwaliteitsborging, versiebeheer, lineage, hergebruik en continue verbetering.
  • Creëer schaalbare evaluatiestrategieën voor generatieve en agentische AI op het niveau van taken, workflows, trajecten en runtime.
  • Werk samen met AI-onderzoek, platformengineering, product-, risico-, governance- en bedrijfsteams om evaluaties te integreren in ontwikkel-, release-, certificerings-, monitoring- en hercertificeringsprocessen.
  • Bouw protocollen voor menselijke evaluatie en beoordeling die betrouwbare labels, instructies voor beoordelaars, adjudicatieprocedures, kwaliteitscontroles en auditklare bewijslast opleveren.
  • Beoordeel en verbeter de nauwkeurigheid, kalibratie, robuustheid, dekking van foutmodi en uitlegbaarheid van geautomatiseerde en menselijke evaluatiemethoden.
  • Geef technische richting, communiceer effectief met leidinggevenden en begeleid junior data scientists.

Vereisten

  • Je hebt minimaal acht jaar ervaring in data science, toegepaste machine learning, AI-evaluatie, ML-kwaliteit of een verwante technische discipline, inclusief technisch leiderschap en teambegeleiding.
  • Je hebt ruime ervaring met het creëren van evaluatiekaders voor machinelearning-, generatieve-AI- of agentische-AI-systemen, met aandacht voor statistieken, datasets, benchmarks, beoordelingsrubrieken en kwaliteitsmeting.
  • Je hebt praktische kennis van LLM-evaluatiemethoden zoals LLM-as-judge, deterministische scoring, menselijke beoordeling, het beoordelen van hallucinaties en factualiteit, veiligheidsevaluatie en benchmarking van modelkwaliteit.
  • Je beschikt over een sterke basis in data science, statistiek, machine learning, experimenten, datacuratie, Python, SQL en actuele ontwikkelpraktijken voor AI en ML.
  • Je vertaalt governance-, modelrisico-, responsible-AI- en bedrijfsvereisten naar meetbare controles, herhaalbare evaluatieprocessen en bewijsvoering die geschikt is voor besluitvorming.
  • Je communiceert duidelijk en beheert stakeholders effectief, met het vermogen om senior leiders binnen onderzoek, engineering, product, governance, risico en bedrijfsfuncties te beïnvloeden.
  • Je hebt ervaring met het beoordelen van agentische AI, tool-calling-workflows, meerstapsredenering, runtime-traces, trajectscoring of prestaties op workflowniveau.
  • Je hebt ervaring in financiële dienstverlening, gereguleerde AI, modelrisicobeheer, verantwoorde AI, enterprise governance of auditklare bewijsprocessen.
  • Je bent bekend met MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, CI/CD-pipelines of vergelijkbare evaluatie- en observabilitytools.
  • Publicaties, octrooien, bijdragen aan open source of ervaring in de sector op het gebied van AI-evaluatie, ML-kwaliteit, AI-veiligheid, toegepast onderzoek of verantwoorde AI zijn relevant.

Voordelen

  • Ontvang een Total Rewards-programma met bonussen, flexibele arbeidsvoorwaarden, concurrerende beloning, commissies en, waar van toepassing, aandelen.
  • Ontwikkel je carrière met leiders die coaching- en managementmogelijkheden bieden.
  • Draag bij aan werk dat is ontworpen om een betekenisvolle, blijvende impact te creëren.
  • Sluit je aan bij een samenwerkend, vooruitstrevend, dynamisch en hoog presterend team.
  • Krijg toegang tot een uitgebreid trainingsprogramma met focus op financiële dienstverlening.
  • Neem uitdagend werk op je met mogelijkheden voor professionele groei.

Gerelateerde vacatures

MÜNZING

MÜNZING Salesmanager Mid-Atlantic, speciale chemicaliën

MÜNZING

Leid de gebiedsverkoop van speciale chemische additieven van MÜNZING in de Mid-Atlantic en bouw met technische projectverkoop klantrelaties op en sluit deals. Beheer een verkoopgebied van 3–5 miljoen dollar en ontwikkel op korte termijn 1–2 miljoen dollar aan zakelijk potentieel in coatings, lijmen, inkten en bouwmarkten.

Openen
Proofpoint

Accountmanager middelgrote keyaccounts cybersecurity – Proofpoint

Proofpoint

Verkoop de cybersecurityplatform van Proofpoint aan middelgrote bedrijven in Washington of Oregon. De functie omvat accountbeheer, partnerverkoop, acquisitie en complexe oplossingen met meerjarige contracten.

Openen