RBC
RBC
A RBC é uma instituição global de serviços financeiros sediada no Canadá, com negócios que abrangem serviços bancários, finanças, seguros, investimentos, gestão patrimonial, planejamento financeiro e mercados de capitais. Atendendo a mais de 17 milhões de clientes no Canadá, nos Estados Unidos e em outros 27 países, a RBC conta com mais de 94.000 funcionários. Seu modelo diversificado combina serviços financeiros consolidados com foco em inovação e experiência do cliente.

Cientista de Dados Staff, Plataforma de Avaliação de IA

Lidere o desenvolvimento de estruturas de avaliação, conjuntos de dados e controles de qualidade para os sistemas de IA empresarial do RBC. Defina padrões técnicos, apoie evidências de governança e mentore equipes de ciência de dados em todo o Canadá.

Descrição

  • Desenvolver métodos avançados de avaliação para modelos e agentes usando conjuntos de dados, rubricas, técnicas de LLM como juiz, pontuação determinística, revisão humana e estruturas de medição.
  • Estabelecer padrões de ciência da avaliação que convertam o risco de modelos, a IA responsável, a qualidade do produto, a segurança e as necessidades de negócios em critérios mensuráveis e processos repetíveis.
  • Gerenciar todo o ciclo de vida dos conjuntos de dados e scorecards de avaliação, desde a obtenção e curadoria até a validação, garantia de qualidade, versionamento, linhagem, reutilização e melhoria contínua.
  • Criar estratégias escaláveis de avaliação para IA generativa e agêntica nos níveis de tarefa, fluxo de trabalho, trajetória e tempo de execução.
  • Colaborar com as equipes de pesquisa de IA, engenharia de plataformas, produto, risco, governança e negócios para integrar as avaliações aos processos de desenvolvimento, lançamento, certificação, monitoramento e recertificação.
  • Criar protocolos de avaliação e revisão humana que forneçam rótulos confiáveis, instruções para revisores, procedimentos de adjudicação, controles de qualidade e evidências prontas para auditoria.
  • Avaliar e melhorar a precisão, a calibração, a robustez, a cobertura de modos de falha e a explicabilidade dos avaliadores em métodos de avaliação automatizados e humanos.
  • Fornecer orientação técnica, comunicar-se de forma eficaz com executivos e mentorar cientistas de dados juniores.

Requisitos

  • Ter pelo menos oito anos de experiência em ciência de dados, aprendizado de máquina aplicado, avaliação de IA, qualidade de ML ou disciplina técnica relacionada, incluindo liderança técnica e mentoria de equipes.
  • Demonstrar sólida experiência na criação de estruturas de avaliação para sistemas de aprendizado de máquina, IA generativa ou IA agêntica, abrangendo métricas, conjuntos de dados, benchmarks, rubricas e medição de qualidade.
  • Ter conhecimento prático de abordagens de avaliação de LLM, como LLM como juiz, pontuação determinística, revisão humana, avaliação de alucinações e factualidade, avaliação de segurança e benchmarking da qualidade de modelos.
  • Possuir sólida base em ciência de dados, estatística, aprendizado de máquina, experimentação, curadoria de dados, Python, SQL e práticas atuais de desenvolvimento de IA e ML.
  • Traduzir requisitos de governança, risco de modelos, IA responsável e negócios em controles mensuráveis, processos de avaliação repetíveis e evidências adequadas para a tomada de decisões.
  • Comunicar-se com clareza e gerenciar stakeholders com eficácia, com capacidade de influenciar líderes seniores em pesquisa, engenharia, produto, governança, risco e negócios.
  • Ter experiência na avaliação de IA agêntica, fluxos de trabalho com chamadas de ferramentas, raciocínio em várias etapas, rastros de execução, pontuação de trajetórias ou desempenho no nível do fluxo de trabalho.
  • Ter experiência em serviços financeiros, IA regulamentada, gestão de risco de modelos, IA responsável, governança empresarial ou processos de evidências preparados para auditoria.
  • Conhecer MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, pipelines de CI/CD ou ferramentas comparáveis de avaliação e observabilidade.
  • Publicações, patentes, contribuições para código aberto ou experiência no setor em avaliação de IA, qualidade de ML, segurança de IA, pesquisa aplicada ou IA responsável são relevantes.

Benefícios

  • Receber um Programa de Recompensas Totais com bônus, benefícios flexíveis, remuneração competitiva, comissões e, quando aplicável, ações.
  • Desenvolver sua carreira com líderes que oferecem orientação e oportunidades de gestão.
  • Contribuir para um trabalho criado para gerar um impacto significativo e duradouro.
  • Fazer parte de uma equipe colaborativa, progressista, dinâmica e de alto desempenho.
  • Ter acesso a um programa abrangente de treinamento com foco em serviços financeiros.
  • Assumir um trabalho desafiador com oportunidades de crescimento profissional.

Vagas relacionadas

Dotdigital

Especialista em conteúdo e mídias sociais na Dotdigital (híbrido, Reino Unido)

Dotdigital

Crie campanhas visuais, em vídeo e para mídias sociais para a plataforma de experiência do cliente e dados da Dotdigital. Desenvolva programas globais de influenciadores, defesa da marca por funcionários e conteúdo.

Abrir
Hyperproof

Gerente sênior de operações de receita e líder da equipe de sistemas de negócios na Hyperproof

Hyperproof
51 – 200 Funcionários
ConformidadeSaaSSegurança

Lidere a estratégia de sistemas de receita, as previsões e uma pequena equipe de RevOps da Hyperproof, com foco em Salesforce, CPQ e análise de receita. A Hyperproof desenvolve software de gestão de riscos e conformidade.

Abrir
Trinity Life Sciences

Gerente de projetos de valor, acesso e precificação em ciências da vida

Trinity Life Sciences
1.001 – 5.000 Funcionários
Cuidados de saúdeLogísticaMarketing

Lidere projetos de consultoria da Trinity Life Sciences em valor, acesso e precificação, supervisionando o relacionamento com clientes, as equipes, as entregas e os orçamentos. Contribua para o desenvolvimento de negócios e oriente colegas em início de carreira.

Abrir
Berliner Verkehrsbetriebe (BVG)

Gerente de operações de pagamento, Jelbi

Berliner Verkehrsbetriebe (BVG)

Supervisiona as operações de pagamento, cobrança e conciliação da plataforma Jelbi, da BVG. Coordena melhorias de processos e iniciativas orientadas por dados com as equipes de produto, finanças e contabilidade, além de parceiros externos.

Abrir