RBC je globalna institucija za financijske usluge sa sjedištem u Kanadi, čije poslovanje obuhvaća bankarstvo, financiranje, osiguranje, ulaganja, upravljanje imovinom, financijsko planiranje i tržišta kapitala. RBC pruža usluge za više od 17 milijuna klijenata u Kanadi, Sjedinjenim Američkim Državama i još 27 zemalja te zapošljava više od 94.000 ljudi. Njezin raznolik poslovni model spaja etablirane financijske usluge s fokusom na inovacije i iskustvo klijenata.
Vodeći podatkovni znanstvenik za platformu za evaluaciju umjetne inteligencije
Vodite razvoj evaluacijskih okvira, skupova podataka i kontrola kvalitete za RBC-ove poslovne sustave umjetne inteligencije. Postavljajte tehničke standarde, podržavajte dokaze za upravljanje i mentorirajte timove podatkovne znanosti diljem Kanade.
Opis
- Razvijati napredne metode evaluacije modela i agenata pomoću skupova podataka, kriterija ocjenjivanja, tehnika LLM-a kao suca, determinističkog bodovanja, ljudskog pregleda i mjernih okvira.
- Uspostaviti standarde evaluacijske znanosti koji rizik modela, odgovornu umjetnu inteligenciju, kvalitetu proizvoda, sigurnost i poslovne potrebe pretvaraju u mjerljive kriterije i ponovljive procese.
- Upravljati cjelokupnim životnim ciklusom evaluacijskih skupova podataka i kartica bodovanja, od prikupljanja i kuriranja do validacije, osiguranja kvalitete, verzioniranja, sljedivosti, ponovne uporabe i stalnog poboljšanja.
- Izraditi skalabilne strategije evaluacije generativne i agentne umjetne inteligencije na razinama zadatka, tijeka rada, putanje i izvođenja.
- Surađivati s timovima za istraživanje umjetne inteligencije, razvoj platforme, proizvode, rizike, upravljanje i poslovanje kako bi se evaluacije uključile u procese razvoja, izdavanja, certifikacije, nadzora i ponovne certifikacije.
- Izraditi protokole za ljudsku evaluaciju i pregled koji osiguravaju pouzdane oznake, upute za pregledavatelje, postupke donošenja odluka, kontrole kvalitete i dokaze spremne za reviziju.
- Procjenjivati i poboljšavati točnost ocjenjivača, kalibraciju, robusnost, pokrivenost načina otkaza i objašnjivost automatiziranih i ljudskih metoda evaluacije.
- Pružati tehničko usmjerenje, učinkovito komunicirati s izvršnim rukovoditeljima i mentorirati mlađe podatkovne znanstvenike.
Zahtjevi
- Imati najmanje osam godina iskustva u podatkovnoj znanosti, primijenjenom strojnome učenju, evaluaciji umjetne inteligencije, kvaliteti ML-a ili srodnoj tehničkoj disciplini, uključujući tehničko vodstvo i mentoriranje timova.
- Imati dokazano iskustvo u izradi evaluacijskih okvira za sustave strojnog učenja, generativne ili agentne umjetne inteligencije, uključujući metrike, skupove podataka, referentne testove, kriterije ocjenjivanja i mjerenje kvalitete.
- Posjedovati praktično znanje pristupa evaluaciji LLM-a, kao što su LLM kao sudac, determinističko bodovanje, ljudski pregled, procjena halucinacija i činjeničnosti, evaluacija sigurnosti i usporedno mjerenje kvalitete modela.
- Imati snažne temelje u podatkovnoj znanosti, statistici, strojnom učenju, eksperimentiranju, kuriranju podataka, Pythonu, SQL-u i suvremenim praksama razvoja AI/ML-a.
- Prevoditi zahtjeve upravljanja, rizika modela, odgovorne umjetne inteligencije i poslovanja u mjerljive kontrole, ponovljive evaluacijske procese i dokaze prikladne za donošenje odluka.
- Jasno komunicirati i učinkovito upravljati dionicima te utjecati na više rukovodstvo u istraživanju, inženjerstvu, proizvodima, upravljanju, rizicima i poslovanju.
- Imati iskustvo u procjeni agentne umjetne inteligencije, tijekova rada s pozivanjem alata, višekoračnog zaključivanja, tragova izvođenja, bodovanja putanja ili izvedbe na razini tijeka rada.
- Imati iskustvo u financijskim uslugama, reguliranoj umjetnoj inteligenciji, upravljanju rizikom modela, odgovornoj umjetnoj inteligenciji, poslovnom upravljanju ili procesima stvaranja dokaza spremnih za reviziju.
- Poznavati MLflow, Langfuse, LangSmith, OpenTelemetry, Grafanu, CI/CD cjevovode ili usporedive alate za evaluaciju i vidljivost sustava.
- Publikacije, patenti, doprinosi otvorenom kodu ili industrijsko iskustvo u evaluaciji umjetne inteligencije, kvaliteti ML-a, sigurnosti umjetne inteligencije, primijenjenom istraživanju ili odgovornoj umjetnoj inteligenciji smatraju se relevantnima.
Pogodnosti
- Primati program ukupnih nagrada s bonusima, fleksibilnim pogodnostima, konkurentnom naknadom, provizijama i primjenjivim nagradama u dionicama.
- Razvijati karijeru uz voditelje koji pružaju mentorstvo i prilike za upravljanje.
- Doprinositi radu osmišljenom za stvaranje značajnog i dugotrajnog učinka.
- Pridružiti se suradničkom, naprednom, dinamičnom i uspješnom timu.
- Imati pristup sveobuhvatnom programu obuke usmjerenom na financijske usluge.
- Preuzeti izazovan posao s prilikama za profesionalni razvoj.