RBC
RBC
RBC este o instituție globală de servicii financiare cu sediul central în Canada, cu activități care acoperă domeniile bancar, finanțarea, asigurările, investițiile, gestionarea patrimoniului, planificarea financiară și piețele de capital. Deservește peste 17 milioane de clienți din Canada, Statele Unite și alte 27 de țări și are peste 94.000 de angajați. Modelul său diversificat combină serviciile financiare consacrate cu un accent pe inovare și pe experiența clienților.

Cercetător principal în știința datelor, platformă de evaluare a inteligenței artificiale

Conduceți proiectarea cadrelor de evaluare, a seturilor de date și a controalelor de calitate pentru sistemele enterprise de inteligență artificială ale RBC. Stabiliți standarde tehnice, sprijiniți dovezile de guvernanță și îndrumați echipe de știința datelor din Canada.

Descriere

  • Dezvoltarea unor metode avansate de evaluare a modelelor și agenților folosind seturi de date, rubrici, tehnici LLM-as-judge, punctaj determinist, evaluare umană și cadre de măsurare.
  • Stabilirea unor standarde de știință a evaluării care transformă riscul modelelor, inteligența artificială responsabilă, calitatea produsului, siguranța și nevoile de afaceri în criterii măsurabile și procese repetabile.
  • Gestionarea întregului ciclu de viață al seturilor de date de evaluare și al fișelor de punctaj, de la aprovizionare și curatoriere până la validare, asigurarea calității, versionare, trasabilitate, reutilizare și îmbunătățire continuă.
  • Crearea unor strategii de evaluare scalabile pentru inteligența artificială generativă și agentică la nivel de sarcină, flux de lucru, traiectorie și execuție.
  • Colaborarea cu echipele de cercetare AI, inginerie de platformă, produs, risc, guvernanță și afaceri pentru integrarea evaluărilor în procesele de dezvoltare, lansare, certificare, monitorizare și recertificare.
  • Construirea unor protocoale de evaluare și verificare umană care oferă etichete fiabile, instrucțiuni pentru evaluatori, proceduri de adjudecare, controale de calitate și dovezi pregătite pentru audit.
  • Evaluarea și îmbunătățirea acurateței, calibrării, robusteții, acoperirii modurilor de eșec și explicabilității evaluatorilor în metodele automate și umane de evaluare.
  • Oferirea de direcție tehnică, comunicarea eficientă cu directorii și mentorarea cercetătorilor juniori în știința datelor.

Cerințe

  • Cel puțin opt ani de experiență în știința datelor, învățare automată aplicată, evaluarea inteligenței artificiale, calitatea ML sau o disciplină tehnică similară, inclusiv leadership tehnic și mentorarea echipelor.
  • Experiență solidă în crearea de cadre de evaluare pentru sisteme de învățare automată, inteligență artificială generativă sau agentică, acoperind metrici, seturi de date, repere, rubrici și măsurarea calității.
  • Cunoștințe practice despre abordări de evaluare a LLM, precum LLM-as-judge, punctaj determinist, evaluare umană, evaluarea halucinațiilor și a factualității, evaluarea siguranței și benchmarkingul calității modelelor.
  • Fundamente solide în știința datelor, statistică, învățare automată, experimentare, curatorierea datelor, Python, SQL și practicile actuale de dezvoltare AI/ML.
  • Capacitatea de a transforma cerințele de guvernanță, riscul modelelor, inteligența artificială responsabilă și cerințele de afaceri în controale măsurabile, procese de evaluare repetabile și dovezi adecvate pentru luarea deciziilor.
  • Comunicare clară și gestionarea eficientă a părților interesate, cu abilitatea de a influența lideri seniori din cercetare, inginerie, produs, guvernanță, risc și afaceri.
  • Experiență în evaluarea inteligenței artificiale agentice, a fluxurilor de lucru cu apeluri de instrumente, a raționamentului în mai mulți pași, a trasărilor de execuție, a punctajului traiectoriilor sau a performanței la nivel de flux de lucru.
  • Experiență în servicii financiare, AI reglementat, gestionarea riscului modelelor, AI responsabilă, guvernanță enterprise sau procese de dovezi pregătite pentru audit.
  • Familiaritate cu MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, conducte CI/CD sau instrumente comparabile de evaluare și observabilitate.
  • Publicațiile, brevetele, contribuțiile open-source sau experiența din industrie în evaluarea AI, calitatea ML, siguranța AI, cercetarea aplicată sau AI responsabilă reprezintă experiență relevantă.

Beneficii

  • Beneficiați de un program Total Rewards cu bonusuri, beneficii flexibile, compensație competitivă, comisioane și, după caz, acorduri de acțiuni.
  • Dezvoltați-vă cariera alături de lideri care oferă coaching și oportunități de management.
  • Contribuiți la o activitate concepută pentru a crea un impact semnificativ și durabil.
  • Alăturați-vă unei echipe colaborative, progresiste, dinamice și cu performanțe ridicate.
  • Accesați un program cuprinzător de formare axat pe servicii financiare.
  • Asumați-vă activități provocatoare, cu oportunități de dezvoltare profesională.

Locuri de muncă similare

Centorrino Technologies

Remote Risk Management Specialist — Australia

Centorrino Technologies

Implement a risk management system for regulated Australian organisations, translating governance needs into configuration, testing, reporting and adoption. Work across the implementation lifecycle with stakeholders on risk data, controls and executive reporting.

Deschide