RBC
RBC
RBC es una institución global de servicios financieros con sede en Canadá, cuyas actividades abarcan la banca, las finanzas, los seguros, las inversiones, la gestión patrimonial, la planificación financiera y los mercados de capitales. Atiende a más de 17 millones de clientes en Canadá, Estados Unidos y otros 27 países, y cuenta con una plantilla de más de 94.000 empleados. Su modelo diversificado combina servicios financieros consolidados con un enfoque en la innovación y la experiencia del cliente.

Científico de Datos Principal, Plataforma de Evaluación de IA

Lidera el diseño de marcos de evaluación, conjuntos de datos y controles de calidad para los sistemas de IA empresariales de RBC. Establece estándares técnicos, respalda la evidencia de gobernanza y asesora a equipos de ciencia de datos en todo Canadá.

Descripción

  • Desarrollar métodos avanzados de evaluación para modelos y agentes mediante conjuntos de datos, rúbricas, técnicas de LLM como juez, puntuación determinista, revisión humana y marcos de medición.
  • Establecer estándares de ciencia de la evaluación que conviertan el riesgo de los modelos, la IA responsable, la calidad del producto, la seguridad y las necesidades empresariales en criterios medibles y procesos repetibles.
  • Gestionar el ciclo de vida completo de los conjuntos de datos y las tarjetas de evaluación, desde la obtención y curación hasta la validación, el aseguramiento de la calidad, el control de versiones, la trazabilidad, la reutilización y la mejora continua.
  • Crear estrategias de evaluación escalables para la IA generativa y agéntica en los niveles de tarea, flujo de trabajo, trayectoria y tiempo de ejecución.
  • Colaborar con equipos de investigación de IA, ingeniería de plataformas, producto, riesgos, gobernanza y negocio para integrar las evaluaciones en los procesos de desarrollo, lanzamiento, certificación, supervisión y recertificación.
  • Crear protocolos de evaluación y revisión humana que proporcionen etiquetas confiables, instrucciones para revisores, procedimientos de adjudicación, controles de calidad y evidencia preparada para auditorías.
  • Evaluar y mejorar la precisión, calibración, robustez, cobertura de modos de fallo y explicabilidad de los evaluadores en métodos de evaluación automatizados y humanos.
  • Proporcionar orientación técnica, comunicarse eficazmente con ejecutivos y asesorar a científicos de datos júnior.

Requisitos

  • Aportar al menos ocho años de experiencia en ciencia de datos, aprendizaje automático aplicado, evaluación de IA, calidad de ML o una disciplina técnica relacionada, incluida la dirección técnica y la mentoría de equipos.
  • Demostrar sólida experiencia en la creación de marcos de evaluación para sistemas de aprendizaje automático, IA generativa o IA agéntica, cubriendo métricas, conjuntos de datos, referencias, rúbricas y medición de la calidad.
  • Tener conocimientos prácticos de enfoques de evaluación de LLM, como LLM como juez, puntuación determinista, revisión humana, evaluación de alucinaciones y factualidad, evaluación de seguridad y comparación de la calidad de modelos.
  • Poseer una sólida base en ciencia de datos, estadística, aprendizaje automático, experimentación, curación de datos, Python, SQL y prácticas actuales de desarrollo de IA y ML.
  • Traducir los requisitos de gobernanza, riesgo de modelos, IA responsable y negocio en controles medibles, procesos de evaluación repetibles y evidencia adecuada para la toma de decisiones.
  • Comunicarse con claridad y gestionar eficazmente a las partes interesadas, con capacidad para influir en líderes sénior de investigación, ingeniería, producto, gobernanza, riesgos y negocio.
  • Aportar experiencia en la evaluación de IA agéntica, flujos de trabajo con llamadas a herramientas, razonamiento de varios pasos, trazas de ejecución, puntuación de trayectorias o rendimiento a nivel de flujo de trabajo.
  • Tener experiencia en servicios financieros, IA regulada, gestión del riesgo de modelos, IA responsable, gobernanza empresarial o procesos de evidencia preparados para auditorías.
  • Estar familiarizado con MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, canalizaciones de CI/CD u otras herramientas comparables de evaluación y observabilidad.
  • Las publicaciones, patentes, contribuciones de código abierto o experiencia industrial en evaluación de IA, calidad de ML, seguridad de la IA, investigación aplicada o IA responsable son relevantes.

Beneficios

  • Recibir un Programa de Recompensas Totales con bonificaciones, beneficios flexibles, remuneración competitiva, comisiones y, cuando corresponda, acciones.
  • Desarrollar la carrera profesional con líderes que ofrecen formación y oportunidades de gestión.
  • Contribuir a un trabajo diseñado para crear un impacto significativo y duradero.
  • Unirse a un equipo colaborativo, progresista, dinámico y de alto rendimiento.
  • Acceder a un programa integral de formación centrado en los servicios financieros.
  • Asumir un trabajo desafiante con oportunidades de crecimiento profesional.

Empleos relacionados

Premier Research

Ejecutivo de soluciones para centros de ensayos clínicos

Premier Research

Coordina el cumplimiento normativo, la documentación y los procedimientos para pacientes en el centro de Premier Research en Bangalore. Apoya a investigadores, patrocinadores y CRO durante el desarrollo de los estudios.

Abrir
M-KOPA

Responsable sénior de contenidos

M-KOPA

Lidera la narrativa de marca y los contenidos de M-KOPA en Nigeria, desde la redacción y las campañas hasta las redes sociales y la relación con los clientes. El puesto abarca estrategia de contenidos, colaboración creativa y crecimiento de la audiencia.

Abrir
Thomson Reuters

Director de Marketing para Australia y Nueva Zelanda

Thomson Reuters

Lidera la estrategia de marketing, los programas de campo y el crecimiento del pipeline de Thomson Reuters en Australia y Nueva Zelanda, en tecnología legal, fiscal y de cumplimiento normativo. Gestiona equipos regionales, campañas y eventos, con énfasis en el marketing impulsado por IA.

Abrir