RBC
RBC
RBC er en global finansiel servicevirksomhed med hovedkontor i Canada og aktiviteter inden for bankvirksomhed, finansiering, forsikring, investering, formueforvaltning, økonomisk planlægning og kapitalmarkeder. RBC betjener mere end 17 millioner kunder i Canada, USA og 27 andre lande og har over 94.000 medarbejdere. Den diversificerede forretningsmodel kombinerer etablerede finansielle tjenester med fokus på innovation og kundeoplevelse.

Staff Data Scientist, platform for AI-evaluering

Led designet af evalueringsrammer, datasæt og kvalitetskontroller for RBC's AI-systemer til virksomheder. Fastlæg tekniske standarder, understøt dokumentation til governance, og vejled datavidenskabsteams i hele Canada.

Beskrivelse

  • Udvikl avancerede evalueringsmetoder for modeller og agenter ved hjælp af datasæt, vurderingskriterier, LLM-som-dommer-teknikker, deterministisk scoring, menneskelig gennemgang og målerammer.
  • Etablér standarder for evalueringsvidenskab, der omsætter modelrisiko, ansvarlig AI, produktkvalitet, sikkerhed og forretningsbehov til målbare kriterier og gentagelige processer.
  • Administrér hele livscyklussen for evalueringsdatasæt og scorecards fra indsamling og kuratering til validering, kvalitetssikring, versionsstyring, oprindelsessporing, genbrug og løbende forbedring.
  • Skab skalerbare evalueringsstrategier for generativ og agentisk AI på opgave-, workflow-, forløbs- og runtime-niveau.
  • Samarbejd med teams inden for AI-forskning, platform engineering, produkt, risiko, governance og forretning om at integrere evalueringer i processer for udvikling, release, certificering, overvågning og recertificering.
  • Opbyg protokoller for menneskelig evaluering og gennemgang, der leverer pålidelige labels, instruktioner til bedømmere, procedurer for afgørelse af uenigheder, kvalitetskontroller og revisionsklar dokumentation.
  • Vurdér og forbedr scorerens nøjagtighed, kalibrering, robusthed, dækning af fejlfunktioner og forklarlighed på tværs af automatiserede og menneskelige evalueringsmetoder.
  • Giv teknisk retning, kommunikér effektivt med ledere, og vejled junior-data scientists.

Krav

  • Have mindst otte års erfaring inden for datavidenskab, anvendt machine learning, AI-evaluering, ML-kvalitet eller en beslægtet teknisk disciplin, herunder teknisk ledelse og teamvejledning.
  • Have stærk erfaring med at skabe evalueringsrammer for machine learning-, generative AI- eller agentiske AI-systemer, der dækker metrikker, datasæt, benchmarks, vurderingskriterier og kvalitetsmåling.
  • Have praktisk kendskab til LLM-evalueringsmetoder som LLM-som-dommer, deterministisk scoring, menneskelig gennemgang, vurdering af hallucinationer og faktuel korrekthed, sikkerhedsevaluering og benchmarking af modelkvalitet.
  • Have et stærkt fundament inden for datavidenskab, statistik, machine learning, eksperimentering, datakuratering, Python, SQL og aktuelle praksisser for AI- og ML-udvikling.
  • Omsætte krav til governance, modelrisiko, ansvarlig AI og forretning til målbare kontroller, gentagelige evalueringsprocesser og dokumentation, der kan bruges til beslutningstagning.
  • Kommunikere klart og håndtere interessenter effektivt med evnen til at påvirke seniorledere på tværs af forskning, engineering, produkt, governance, risiko og forretning.
  • Have erfaring med at vurdere agentisk AI, workflows med værktøjskald, flertrinsræsonnement, runtime-spor, forløbsscorer eller performance på workflow-niveau.
  • Have erfaring fra finansielle tjenester, reguleret AI, modelrisikostyring, ansvarlig AI, enterprise governance eller processer for revisionsklar dokumentation.
  • Være fortrolig med MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, CI/CD-pipelines eller sammenlignelige værktøjer til evaluering og observability.
  • Publikationer, patenter, bidrag til open source eller brancheerfaring inden for AI-evaluering, ML-kvalitet, AI-sikkerhed, anvendt forskning eller ansvarlig AI er relevante.

Fordele

  • Modtag et program for samlet aflønning med bonusser, fleksible personalegoder, konkurrencedygtig aflønning, provisioner og relevante aktietildelinger.
  • Udvikl din karriere med ledere, der tilbyder coaching og muligheder for ledelsesudvikling.
  • Bidrag til arbejde, der er designet til at skabe meningsfuld og varig effekt.
  • Bliv en del af et samarbejdende, progressivt, dynamisk og højtydende team.
  • Få adgang til et omfattende træningsprogram med fokus på finansielle tjenester.
  • Påtag dig udfordrende arbejde med muligheder for faglig udvikling.

Relaterede job

New Zealand Trade and Enterprise

Partner inden for virksomhedssikring, 9 måneders tidsbegrænset ansættelse – Wellington, hybrid

New Zealand Trade and Enterprise
501 – 1.000 Medarbejdere
B2BOffentlig sektor

Led intern revision og risikorådgivning hos New Zealand Trade and Enterprise, og bidrag til sikker drift og international vækst. Rådgiv ledende medarbejdere, og styrk organisationens risikomodenhed.

Åbn
Hewlett Packard Enterprise

Partneransvarlig for HPE Compute – offentlig sektor i det østlige USA

Hewlett Packard Enterprise

Udvikl HPE Compute-forretningen gennem partnere i den offentlige sektor i det østlige USA. Rollen omfatter fælles salgsplanlægning, pipelineudvikling, fællessalg og partneraktivering.

Åbn
Hewlett Packard Enterprise

Partner Business Manager, HPE Compute – det østlige USA

Hewlett Packard Enterprise

Skab vækst i salget af HPE Compute gennem partnere i den offentlige sektor i det østlige USA. Udarbejd fælles planer, styrk partnernes kompetencer, udvid salgspipelinen, og før handler fremad sammen med HPE-teams.

Åbn
Centorrino Technologies

Specialist i risikostyring – fjernarbejde, Australien

Centorrino Technologies
201 – 500 Medarbejdere
LogistikRådgivningSundhedsvæsen

Implementér et risikostyringssystem for regulerede australske organisationer, og omsæt behov for governance til konfiguration, test, rapportering og ibrugtagning. Arbejd med interessenter gennem hele implementeringen om risikodata, kontroller og ledelsesrapportering.

Åbn