RBC je globalna institucija za finančne storitve s sedežem v Kanadi, ki deluje na področjih bančništva, financiranja, zavarovalništva, naložb, upravljanja premoženja, finančnega načrtovanja in kapitalskih trgov. RBC oskrbuje več kot 17 milijonov strank v Kanadi, Združenih državah Amerike in še 27 drugih državah ter zaposluje več kot 94.000 ljudi. Njen raznolik poslovni model združuje uveljavljene finančne storitve z osredotočenostjo na inovacije in izkušnjo strank.
Glavni podatkovni znanstvenik za platformo za vrednotenje umetne inteligence
Vodite zasnovo ocenjevalnih okvirov, naborov podatkov in kontrol kakovosti za poslovne sisteme umetne inteligence družbe RBC. Določajte tehnične standarde, podpirajte dokaze za upravljanje ter mentorirajte ekipe za podatkovno znanost po vsej Kanadi.
Opis
- Razvijati napredne metode vrednotenja modelov in agentov z uporabo naborov podatkov, ocenjevalnih meril, tehnik LLM kot presojevalca, determinističnega točkovanja, človeškega pregleda in merilnih okvirov.
- Vzpostavljati standarde znanosti vrednotenja, ki tveganje modelov, odgovorno umetno inteligenco, kakovost izdelkov, varnost in poslovne potrebe pretvorijo v merljiva merila ter ponovljive procese.
- Upravljati celoten življenjski cikel naborov podatkov za vrednotenje in ocenjevalnih kartic, od pridobivanja in kuriranja do validacije, zagotavljanja kakovosti, različic, sledljivosti, ponovne uporabe in nenehnega izboljševanja.
- Ustvarjati razširljive strategije vrednotenja generativne in agentske umetne inteligence na ravneh nalog, delovnih tokov, trajektorij in izvajanja.
- Sodelovati z ekipami za raziskave umetne inteligence, inženirstvo platforme, izdelke, tveganja, upravljanje in poslovanje pri vključevanju vrednotenj v procese razvoja, izdajanja, certificiranja, spremljanja in ponovnega certificiranja.
- Vzpostavljati protokole za človeško vrednotenje in pregled, ki zagotavljajo zanesljive oznake, navodila za pregledovalce, postopke razsojanja, kontrole kakovosti in dokaze, pripravljene na revizijo.
- Ocenjevati in izboljševati natančnost ocenjevalnikov, kalibracijo, robustnost, pokritost načinov odpovedi in razložljivost avtomatiziranih ter človeških metod vrednotenja.
- Zagotavljati tehnično usmerjanje, učinkovito komunicirati z vodstvenimi delavci in mentorirati mlajše podatkovne znanstvenike.
Zahteve
- Imeti najmanj osem let izkušenj na področju podatkovne znanosti, uporabnega strojnega učenja, vrednotenja umetne inteligence, kakovosti ML ali sorodne tehnične discipline, vključno s tehničnim vodenjem in mentoriranjem ekip.
- Izkazovati bogate izkušnje pri ustvarjanju ocenjevalnih okvirov za sisteme strojnega učenja, generativne ali agentske umetne inteligence, ki zajemajo metrike, nabore podatkov, primerjalne teste, merila in merjenje kakovosti.
- Imeti praktično znanje pristopov k vrednotenju LLM, kot so LLM kot presojevalec, deterministično točkovanje, človeški pregled, ocenjevanje halucinacij in dejanskosti, ocenjevanje varnosti ter primerjalno merjenje kakovosti modelov.
- Imeti trdne temelje na področjih podatkovne znanosti, statistike, strojnega učenja, eksperimentiranja, kuriranja podatkov, Pythona, SQL in sodobnih praks razvoja AI/ML.
- Prevajati zahteve upravljanja, tveganja modelov, odgovorne umetne inteligence in poslovanja v merljive kontrole, ponovljive postopke vrednotenja in dokaze, primerne za odločanje.
- Jasno komunicirati in učinkovito upravljati deležnike ter vplivati na višje vodstvo na področjih raziskav, inženirstva, izdelkov, upravljanja, tveganj in poslovanja.
- Imeti izkušnje z ocenjevanjem agentske umetne inteligence, delovnih tokov s klicanjem orodij, večstopenjskim sklepanjem, izvajalnimi sledmi, točkovanjem trajektorij ali uspešnostjo na ravni delovnega toka.
- Imeti izkušnje s finančnimi storitvami, regulirano umetno inteligenco, upravljanjem tveganja modelov, odgovorno umetno inteligenco, poslovnim upravljanjem ali procesi priprave dokazov za revizijo.
- Poznati MLflow, Langfuse, LangSmith, OpenTelemetry, Grafano, cevovode CI/CD ali primerljiva orodja za vrednotenje in opazljivost.
- Publikacije, patenti, prispevki k odprtokodnim projektom ali industrijske izkušnje na področju vrednotenja umetne inteligence, kakovosti ML, varnosti AI, uporabnih raziskav ali odgovorne umetne inteligence so relevantni.
Ugodnosti
- Prejemati program celotnih nagrad z bonusi, prilagodljivimi ugodnostmi, konkurenčnim plačilom, provizijami in morebitnimi nagradami v delnicah.
- Razvijati kariero z vodji, ki zagotavljajo mentorstvo in priložnosti za vodenje.
- Prispevati k delu, zasnovanemu za pomemben in trajen učinek.
- Pridružiti se sodelovalni, napredni, dinamični in zelo uspešni ekipi.
- Dostopati do celovitega programa usposabljanja, osredotočenega na finančne storitve.
- Sprejeti zahtevno delo z možnostmi za poklicno rast.