RBC
RBC
RBC — глобальная финансовая организация со штаб-квартирой в Канаде, деятельность которой охватывает банковские услуги, финансирование, страхование, инвестиции, управление капиталом, финансовое планирование и рынки капитала. Компания обслуживает более 17 миллионов клиентов в Канаде, США и 27 других странах, а её штат насчитывает более 94 000 сотрудников. Диверсифицированная бизнес-модель RBC сочетает проверенные финансовые услуги с акцентом на инновации и качество обслуживания клиентов.

Ведущий специалист по данным, платформа оценки ИИ

Руководите разработкой систем оценки, наборов данных и контроля качества для корпоративных систем ИИ RBC. Устанавливайте технические стандарты, обеспечивайте доказательную базу для управления и наставляйте команды специалистов по данным в Канаде.

Описание

  • Разрабатывайте передовые методы оценки моделей и агентов с использованием наборов данных, рубрик, подходов LLM-as-a-judge, детерминированного скоринга, человеческой проверки и измерительных фреймворков.
  • Устанавливайте стандарты науки об оценке, преобразуя риски моделей, требования ответственного ИИ, качества продукта, безопасности и бизнеса в измеримые критерии и воспроизводимые процессы.
  • Управляйте полным жизненным циклом наборов данных и оценочных карт: от поиска и курирования до валидации, контроля качества, версионирования, отслеживания происхождения, повторного использования и постоянного совершенствования.
  • Создавайте масштабируемые стратегии оценки генеративного и агентного ИИ на уровнях задач, рабочих процессов, траекторий и выполнения.
  • Сотрудничайте с командами исследований ИИ, платформенной инженерии, разработки продуктов, управления рисками, корпоративного управления и бизнеса, интегрируя оценки в процессы разработки, выпуска, сертификации, мониторинга и повторной сертификации.
  • Разрабатывайте протоколы человеческой оценки и проверки, обеспечивающие надежную разметку, инструкции для проверяющих, процедуры арбитража, контроль качества и готовые к аудиту доказательства.
  • Оценивайте и повышайте точность и калибровку оценщиков, устойчивость, охват сценариев отказа и объяснимость автоматизированных и человеческих методов оценки.
  • Задавайте техническое направление, эффективно взаимодействуйте с руководителями и наставляйте младших специалистов по данным.

Требования

  • Иметь не менее восьми лет опыта в области анализа данных, прикладного машинного обучения, оценки ИИ, качества ML или смежной технической дисциплины, включая техническое руководство и наставничество команды.
  • Иметь значительный опыт создания фреймворков оценки для систем машинного обучения, генеративного или агентного ИИ, включая метрики, наборы данных, бенчмарки, рубрики и измерение качества.
  • Обладать практическими знаниями подходов к оценке LLM, таких как LLM-as-a-judge, детерминированный скоринг, человеческая проверка, оценка галлюцинаций и фактической точности, оценка безопасности и бенчмаркинг качества моделей.
  • Иметь прочную базу в анализе данных, статистике, машинном обучении, экспериментах, курировании данных, Python, SQL и современных практиках разработки ИИ и ML.
  • Уметь переводить требования корпоративного управления, модельных рисков, ответственного ИИ и бизнеса в измеримые средства контроля, воспроизводимые процессы оценки и доказательства, пригодные для принятия решений.
  • Четко коммуницировать и эффективно управлять взаимодействием с заинтересованными сторонами, влияя на руководителей высшего звена в исследованиях, инженерии, разработке продуктов, корпоративном управлении, рисках и бизнесе.
  • Иметь опыт оценки агентного ИИ, рабочих процессов с вызовом инструментов, многошагового рассуждения, трасс выполнения, оценки траекторий или производительности на уровне рабочих процессов.
  • Иметь опыт работы в финансовых услугах, регулируемом ИИ, управлении модельными рисками, ответственном ИИ, корпоративном управлении или процессах подготовки доказательств к аудиту.
  • Знать MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, конвейеры CI/CD или сопоставимые инструменты оценки и наблюдаемости.
  • Публикации, патенты, вклад в проекты с открытым исходным кодом или опыт в индустрии в области оценки ИИ, качества ML, безопасности ИИ, прикладных исследований или ответственного ИИ будут преимуществом.

Преимущества

  • Участие в программе совокупного вознаграждения с бонусами, гибкими льготами, конкурентной оплатой, комиссионными и применимыми акциями.
  • Развивайте карьеру вместе с руководителями, которые предлагают наставничество и возможности управления.
  • Вносите вклад в работу, призванную обеспечить значимое и долгосрочное влияние.
  • Присоединяйтесь к совместной, прогрессивной, динамичной и высокоэффективной команде.
  • Получите доступ к комплексной программе обучения, посвященной финансовым услугам.
  • Беритесь за сложные задачи с возможностями профессионального роста.

Похожие вакансии

Thermo Fisher Scientific

Старший разработчик систем Clarity PPM

Thermo Fisher Scientific

Руководство разработкой Clarity PPM и поддержкой корпоративных приложений, включая интеграции, обновления и устранение неполадок в рабочей среде. Поддержка контролей SOX, дежурств, развертываний и передачи технических знаний.

Открыть
Thermo Fisher Scientific

Старший разработчик систем Clarity PPM

Thermo Fisher Scientific

Руководите разработкой и поддержкой платформы Clarity PPM компании Thermo Fisher Scientific, включая интеграции, обновления и выпуск в промышленную среду. Обеспечивайте расширенную диагностику, техническое управление, наставничество и эксплуатацию в соответствии с требованиями SOX.

Открыть
GFN

Стажёр-преподаватель ИТ: системная интеграция

GFN

Освойте профессию преподавателя ИТ по системной интеграции и ведите практические занятия по учебной программе IHK. Помогайте развивать цифровое обучение и программы профессиональной переподготовки GFN.

Открыть
Chargeflow

Инженер по внедрению для клиентов

Chargeflow

Руководите интеграциями API и подключением корпоративных клиентов к платформе Chargeflow для работы с возвратами платежей и мошенничеством на базе ИИ. Сопровождайте внедрение от подписания договора до запуска в гибридном формате в Модиине, Израиль.

Открыть
smartkündigen OHG

Младший менеджер по продажам (удалённо, Германия)

smartkündigen OHG
11 – 50 Сотрудники
B2CSaaSПродуктивность

Консультируйте клиентов, ведите существующие аккаунты и заключайте сделки для цифрового сервиса smartkündigen по отмене договоров. Полностью удалённая работа в Германии без холодных звонков.

Открыть
CleanHub

Консультант по технической поддержке инициативы ответственного снабжения

CleanHub

Помогайте CleanHub приводить меры защиты в программе по пластиковым отходам в соответствие с Гармонизированной рамочной программой RSI. Проводите региональное обучение, оказывайте техническую поддержку и участвуйте во встречах с партнёрами в Индии, Индонезии и Танзании.

Открыть
DATAGROUP

Инженер сетевых систем IT, LAN/WLAN

DATAGROUP
1 001 – 5 000 Сотрудники
SaaSКонсалтингМаркетинг

Поддержка и эксплуатация сетей LAN/WLAN клиентов поставщика IT-услуг DATAGROUP в Германии. Настройка Cisco, устранение сетевых сбоев и поддержка второй линии.

Открыть
OPENLANE

Старший аналитик ИТ-поддержки

OPENLANE

Оказывайте сотрудникам OPENLANE поддержку первой линии и проводите первичную оценку событий безопасности на цифровом рынке подержанных автомобилей. Диагностируйте проблемы с оборудованием, ПО, доступом и приложениями, помогая сотрудникам безопасно устранять инциденты.

Открыть
METALINE

Full-Stack Java-разработчик (Spring, Vue.js)

METALINE

Присоединяйтесь к METALINE в роли full-stack-разработчика на Java/Spring и Vue.js: вы будете создавать платформы электронной коммерции, REST API и интеграции CI/CD. METALINE специализируется на управляемых ИТ-услугах, центрах обработки данных и ИТ-сервисах.

Открыть
AstraZeneca

Руководитель цифрового продукта для бизнес-процессов, старший специалист

AstraZeneca

Руководите цифровыми продуктами для модернизации регулируемых процессов клеточной терапии AstraZeneca, объединяя системы планирования, производства, лабораторий, качества и цепочки поставок.

Открыть