RBC
RBC
RBC är en global finansiell tjänsteorganisation med huvudkontor i Kanada och verksamhet inom banktjänster, finansiering, försäkring, investeringar, förmögenhetsförvaltning, finansiell planering och kapitalmarknader. RBC betjänar över 17 miljoner kunder i Kanada, USA och ytterligare 27 länder och har fler än 94 000 medarbetare. Den diversifierade affärsmodellen kombinerar etablerade finansiella tjänster med fokus på innovation och kundupplevelse.

Staff Data Scientist, plattform för AI-utvärdering

Led utformningen av utvärderingsramverk, datauppsättningar och kvalitetskontroller för RBC:s AI-system för företag. Fastställ tekniska standarder, stöd underlag för styrning och handled datavetenskapsteam i hela Kanada.

Beskrivning

  • Utveckla avancerade utvärderingsmetoder för modeller och agenter med hjälp av datauppsättningar, bedömningsmatriser, LLM-som-domare-tekniker, deterministisk poängsättning, mänsklig granskning och mätframework.
  • Fastställ standarder för utvärderingsvetenskap som omvandlar modellrisk, ansvarsfull AI, produktkvalitet, säkerhet och verksamhetsbehov till mätbara kriterier och repeterbara processer.
  • Hantera hela livscykeln för utvärderingsdatauppsättningar och poängkort, från anskaffning och kurering till validering, kvalitetssäkring, versionshantering, härledning, återanvändning och kontinuerlig förbättring.
  • Skapa skalbara utvärderingsstrategier för generativ och agentisk AI på uppgifts-, arbetsflödes-, förlopps- och körtidsnivå.
  • Samarbeta med team inom AI-forskning, plattformsutveckling, produkt, risk, styrning och verksamhet för att integrera utvärderingar i processer för utveckling, lansering, certifiering, övervakning och omcertifiering.
  • Bygg protokoll för mänsklig utvärdering och granskning som ger tillförlitliga etiketter, granskarinstruktioner, förfaranden för bedömning av tvister, kvalitetskontroller och revisionsklara underlag.
  • Bedöm och förbättra poängsättarnas träffsäkerhet, kalibrering, robusthet, täckning av fellägen och förklarbarhet i automatiserade och mänskliga utvärderingsmetoder.
  • Ge teknisk vägledning, kommunicera effektivt med ledande chefer och handled juniora datavetare.

Krav

  • Ha minst åtta års erfarenhet av datavetenskap, tillämpad maskininlärning, AI-utvärdering, ML-kvalitet eller ett närliggande tekniskt område, inklusive tekniskt ledarskap och handledning av team.
  • Ha gedigen erfarenhet av att skapa utvärderingsramverk för maskininlärning, generativ AI eller agentisk AI, med täckning av mätetal, datauppsättningar, riktmärken, bedömningsmatriser och kvalitetsmätning.
  • Ha praktisk kunskap om metoder för LLM-utvärdering, såsom LLM-som-domare, deterministisk poängsättning, mänsklig granskning, bedömning av hallucinationer och faktakorrekthet, säkerhetsutvärdering och benchmarking av modellkvalitet.
  • Ha en stark grund inom datavetenskap, statistik, maskininlärning, experimentdesign, datakurering, Python, SQL och aktuella metoder för AI- och ML-utveckling.
  • Översätt krav på styrning, modellrisk, ansvarsfull AI och verksamhet till mätbara kontroller, repeterbara utvärderingsprocesser och underlag som lämpar sig för beslutsfattande.
  • Kommunicera tydligt och hantera intressenter effektivt, med förmåga att påverka seniora ledare inom forskning, teknik, produkt, styrning, risk och verksamhet.
  • Ha erfarenhet av att bedöma agentisk AI, verktygsanropande arbetsflöden, flerstegsresonemang, körtidsspår, poängsättning av förlopp eller prestanda på arbetsflödesnivå.
  • Ha erfarenhet från finansiella tjänster, reglerad AI, modellriskhantering, ansvarsfull AI, styrning i företag eller processer för revisionsklara underlag.
  • Vara bekant med MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, CI/CD-pipelines eller jämförbara verktyg för utvärdering och observerbarhet.
  • Publikationer, patent, bidrag till öppen källkod eller branscherfarenhet inom AI-utvärdering, ML-kvalitet, AI-säkerhet, tillämpad forskning eller ansvarsfull AI är meriterande.

Förmåner

  • Få tillgång till ett program för total ersättning med bonusar, flexibla förmåner, konkurrenskraftig ersättning, provisioner och tillämpliga aktieprogram.
  • Utveckla din karriär med ledare som erbjuder coachning och möjligheter att utvecklas inom ledarskap.
  • Bidra till arbete som är utformat för att skapa meningsfull och varaktig påverkan.
  • Bli en del av ett samarbetsinriktat, progressivt, dynamiskt och högpresterande team.
  • Få tillgång till ett omfattande utbildningsprogram med fokus på finansiella tjänster.
  • Ta dig an utmanande arbete med möjligheter till professionell utveckling.

Relaterade jobb

Swan

KYC-ansvarig för den franska marknaden

Swan

Led granskningen av KYC och KYB för den franska marknaden, hantera komplexa ärenden och coacha ett regelefterlevnadsteam. Hjälp Swan att skala upp sin inbäddade bankverksamhet inom reglerade finansiella tjänster.

Öppna
Sphera

Customer Success Manager (distans, Storbritannien)

Sphera

Stöd Spheras kunder som använder programvara för miljö, hälsa, säkerhet och hållbarhet. Främja användningen, lös problem, stärk kundlojaliteten, rapportera resultat och hitta möjligheter att utveckla kundkonton.

Öppna
Veradigm®

Digital kundframgångsansvarig

Veradigm®
1 001 – 5 000 Anställda
Hälso- och sjukvårdSaaSSjukförsäkring

Ansvara för en digitalt understödd portfölj av kunder inom vårdteknik på Veradigm och använda kundhälsosignaler och strukturerade arbetsplaner för att styra kundkontakten. Stödja användning, kundlojalitet, förnyelser och tillväxt genom riskhantering och samordning med interna team.

Öppna
Titan Wealth Holdings

Regional kundservic chef

Titan Wealth Holdings

Led regional kundserviceteam hos Titan Wealth, ett brittiskt företag inom förmögenhetsförvaltning. Ansvara för chefer, verksamhet, regelefterlevnad och serviceförbättringar på flera kontor.

Öppna