RBC е глобална институция за финансови услуги със седалище в Канада, чиято дейност обхваща банково дело, финансиране, застраховане, инвестиции, управление на богатство, финансово планиране и капиталови пазари. RBC обслужва над 17 милиона клиенти в Канада, Съединените щати и още 27 държави и има повече от 94 000 служители. Диверсифицираният ѝ модел съчетава утвърдени финансови услуги с фокус върху иновациите и клиентското преживяване.
Старши специалист по данни за платформа за оценяване на изкуствен интелект
Ръководете проектирането на рамки за оценяване, набори от данни и контроли на качеството за корпоративните AI системи на RBC. Определяйте технически стандарти, подпомагайте доказателствата за управление и наставлявайте екипи по наука за данните в Канада.
Описание
- Разработване на усъвършенствани методи за оценяване на модели и агенти чрез набори от данни, рубрики, техники LLM като съдия, детерминистично оценяване, човешки преглед и измервателни рамки.
- Установяване на стандарти за науката за оценяване, които превръщат риска от модели, отговорния AI, качеството на продуктите, безопасността и бизнес потребностите в измерими критерии и повторяеми процеси.
- Управление на целия жизнен цикъл на наборите от данни за оценяване и картите с оценки — от набавянето и курирането до валидирането, осигуряването на качеството, версионирането, проследимостта, повторната употреба и непрекъснатото подобрение.
- Създаване на мащабируеми стратегии за оценяване на генеративен и агентен AI на ниво задача, работен процес, траектория и изпълнение.
- Сътрудничество с екипи по AI изследвания, платформено инженерство, продукти, риск, управление и бизнес за интегриране на оценяването в процесите на разработка, издаване, сертифициране, мониторинг и повторна сертификация.
- Изграждане на протоколи за човешко оценяване и преглед, които осигуряват надеждни етикети, инструкции за оценители, процедури за арбитраж, контроли на качеството и доказателства, готови за одит.
- Оценяване и подобряване на точността на оценителите, калибрирането, устойчивостта, покритието на режимите на отказ и обяснимостта при автоматизирани и човешки методи за оценяване.
- Осигуряване на техническо ръководство, ефективна комуникация с ръководители и наставничество на младши специалисти по данни.
Изисквания
- Имате поне осем години опит в науката за данните, приложното машинно обучение, оценяването на AI, качеството на ML или сродна техническа дисциплина, включително техническо лидерство и наставничество на екипи.
- Демонстрирате значителен опит в създаването на рамки за оценяване на системи за машинно обучение, генеративен или агентен AI, обхващащи метрики, набори от данни, бенчмаркове, рубрики и измерване на качеството.
- Притежавате практически познания за подходи за оценяване на LLM, като LLM като съдия, детерминистично оценяване, човешки преглед, оценяване на халюцинации и фактическа точност, оценяване на безопасността и бенчмаркинг на качеството на моделите.
- Имате стабилна основа в науката за данните, статистиката, машинното обучение, експериментирането, курирането на данни, Python, SQL и съвременните практики за разработка на AI/ML.
- Превръщате изискванията за управление, риск от модели, отговорен AI и бизнес изискванията в измерими контроли, повторяеми процеси за оценяване и доказателства, подходящи за вземане на решения.
- Комуникирате ясно и управлявате ефективно заинтересованите страни, като можете да влияете на висши ръководители в областите на изследванията, инженерството, продуктите, управлението, риска и бизнеса.
- Имате опит в оценяването на агентен AI, работни процеси с извикване на инструменти, многостъпково разсъждение, следи от изпълнението, оценяване на траектории или ефективност на ниво работен процес.
- Имате опит във финансови услуги, регулиран AI, управление на риска от модели, отговорен AI, корпоративно управление или процеси за доказателства, готови за одит.
- Познавате MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, CI/CD конвейери или сравними инструменти за оценяване и наблюдаемост.
- Публикации, патенти, приноси към проекти с отворен код или индустриален опит в оценяването на AI, качеството на ML, безопасността на AI, приложните изследвания или отговорния AI са релевантни.
Придобивки
- Получавате програма за общо възнаграждение с бонуси, гъвкави придобивки, конкурентно възнаграждение, комисиони и приложими награди под формата на акции.
- Развивате кариерата си с ръководители, които предоставят коучинг и възможности за управление.
- Допринасяте за работа, създадена да има значимо и трайно въздействие.
- Присъединявате се към екип, който е сътрудничещ, прогресивен, динамичен и високоефективен.
- Получавате достъп до цялостна програма за обучение, насочена към финансовите услуги.
- Поемате предизвикателна работа с възможности за професионално развитие.