RBC — глобальна фінансова установа зі штаб-квартирою в Канаді, діяльність якої охоплює банківські послуги, фінансування, страхування, інвестування, управління капіталом, фінансове планування та ринки капіталу. Компанія обслуговує понад 17 мільйонів клієнтів у Канаді, США та 27 інших країнах, а її штат налічує понад 94 000 працівників. Диверсифікована бізнес-модель RBC поєднує усталені фінансові послуги з фокусом на інновації та клієнтський досвід.
Провідний фахівець із даних, платформа оцінювання ШІ
Керуйте розробленням фреймворків оцінювання, наборів даних і засобів контролю якості для корпоративних систем ШІ RBC. Встановлюйте технічні стандарти, забезпечуйте доказову базу для управління та наставляйте команди фахівців із даних у Канаді.
Опис
- Розробляйте передові методи оцінювання моделей і агентів із використанням наборів даних, рубрик, підходів LLM-as-a-judge, детермінованого оцінювання, людської перевірки та вимірювальних фреймворків.
- Встановлюйте стандарти науки про оцінювання, перетворюючи ризики моделей, вимоги відповідального ШІ, якості продукту, безпеки та бізнесу на вимірювані критерії й відтворювані процеси.
- Керуйте повним життєвим циклом наборів даних і карт оцінювання: від пошуку та курування до валідації, забезпечення якості, версіювання, відстеження походження, повторного використання та безперервного вдосконалення.
- Створюйте масштабовані стратегії оцінювання генеративного й агентного ШІ на рівнях завдань, робочих процесів, траєкторій і виконання.
- Співпрацюйте з командами досліджень ШІ, платформної інженерії, продукту, ризиків, управління та бізнесу, інтегруючи оцінювання в процеси розроблення, випуску, сертифікації, моніторингу та повторної сертифікації.
- Створюйте протоколи людського оцінювання й перевірки, що забезпечують надійне маркування, інструкції для перевіряльників, процедури арбітражу, контроль якості та готові до аудиту докази.
- Оцінюйте й покращуйте точність і калібрування оцінювачів, стійкість, охоплення режимів відмови та пояснюваність автоматизованих і людських методів оцінювання.
- Визначайте технічний напрям, ефективно спілкуйтеся з керівниками та наставляйте молодших фахівців із даних.
Вимоги
- Мати щонайменше вісім років досвіду в аналізі даних, прикладному машинному навчанні, оцінюванні ШІ, якості ML або суміжній технічній дисципліні, включно з технічним лідерством і наставництвом команди.
- Мати значний досвід створення фреймворків оцінювання для систем машинного навчання, генеративного або агентного ШІ, що охоплюють метрики, набори даних, бенчмарки, рубрики та вимірювання якості.
- Мати практичні знання підходів до оцінювання LLM, зокрема LLM-as-a-judge, детермінованого оцінювання, людської перевірки, оцінювання галюцинацій і фактичності, оцінювання безпеки та бенчмаркінгу якості моделей.
- Мати ґрунтовну базу в аналізі даних, статистиці, машинному навчанні, експериментах, куруванні даних, Python, SQL і сучасних практиках розроблення ШІ та ML.
- Уміти перетворювати вимоги управління, модельного ризику, відповідального ШІ та бізнесу на вимірювані засоби контролю, відтворювані процеси оцінювання й докази, придатні для ухвалення рішень.
- Чітко комунікувати й ефективно працювати із зацікавленими сторонами, впливаючи на старших керівників у дослідженнях, інженерії, продукті, управлінні, ризиках і бізнесі.
- Мати досвід оцінювання агентного ШІ, робочих процесів із викликом інструментів, багатокрокового міркування, трас виконання, оцінювання траєкторій або продуктивності на рівні робочих процесів.
- Мати досвід у фінансових послугах, регульованому ШІ, управлінні модельним ризиком, відповідальному ШІ, корпоративному управлінні або процесах підготовки доказів до аудиту.
- Бути знайомими з MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, конвеєрами CI/CD або зіставними інструментами оцінювання й спостережуваності.
- Публікації, патенти, внесок у проєкти з відкритим кодом або досвід в індустрії у сфері оцінювання ШІ, якості ML, безпеки ШІ, прикладних досліджень чи відповідального ШІ будуть релевантними.
Переваги
- Отримуйте програму сукупної винагороди з бонусами, гнучкими пільгами, конкурентною компенсацією, комісійними та відповідними акціями.
- Розвивайте кар’єру разом із керівниками, які надають наставництво та можливості управління.
- Долучайтеся до роботи, покликаної створювати значущий і тривалий вплив.
- Приєднуйтеся до спільної, прогресивної, динамічної та високоефективної команди.
- Отримайте доступ до комплексної навчальної програми, зосередженої на фінансових послугах.
- Виконуйте складну роботу з можливостями професійного розвитку.