LogoFresh Jobs Ahead
RBC
RBC
Sponsor für H1B-VisumBankwesenFinanzenVersicherungen
RBC ist ein global tätiges Finanzdienstleistungsinstitut mit Hauptsitz in Kanada. Das Unternehmen ist in den Bereichen Bankwesen, Finanzierungen, Versicherungen, Investments, Vermögensverwaltung, Finanzplanung und Kapitalmärkte aktiv. RBC betreut mehr als 17 Millionen Kundinnen und Kunden in Kanada, den Vereinigten Staaten und 27 weiteren Ländern und beschäftigt über 94.000 Mitarbeitende. Das diversifizierte Geschäftsmodell verbindet etablierte Finanzdienstleistungen mit einem starken Fokus auf Innovation und Kundenerlebnis.
LinkedIn
Stellen im Unternehmen

Staff Data Scientist, KI-Evaluierungsplattform

Leiten Sie die Entwicklung von Evaluierungsframeworks, Datensätzen und Qualitätskontrollen für die unternehmensweiten KI-Systeme von RBC. Setzen Sie technische Standards, unterstützen Sie Governance-Nachweise und fördern Sie Data-Science-Teams in ganz Kanada.

CAKanadaVor OrtVollzeitLeadErforderliche Sprache: EnglischDatenwissenschaftler
GrafanaPythonSQL

Beschreibung

  • Entwickeln Sie fortschrittliche Evaluierungsmethoden für Modelle und Agenten mithilfe von Datensätzen, Bewertungsrastern, LLM-as-Judge-Techniken, deterministischer Bewertung, menschlicher Prüfung und Messframeworks.
  • Etablieren Sie Standards für die Evaluierungswissenschaft, die Modellrisiken, verantwortungsvolle KI, Produktqualität, Sicherheit und geschäftliche Anforderungen in messbare Kriterien und wiederholbare Prozesse überführen.
  • Verwalten Sie den vollständigen Lebenszyklus von Evaluierungsdatensätzen und Scorecards – von Beschaffung und Kuratierung über Validierung, Qualitätssicherung, Versionierung, Herkunft und Wiederverwendung bis hin zur kontinuierlichen Verbesserung.
  • Erstellen Sie skalierbare Evaluierungsstrategien für generative und agentische KI auf Aufgaben-, Workflow-, Trajektorien- und Laufzeitebene.
  • Arbeiten Sie mit KI-Forschung, Plattform-Engineering, Produkt-, Risiko-, Governance- und Geschäftsteams zusammen, um Evaluierungen in Entwicklungs-, Release-, Zertifizierungs-, Monitoring- und Rezertifizierungsprozesse zu integrieren.
  • Entwickeln Sie Protokolle für menschliche Evaluierung und Prüfung, die verlässliche Labels, Anweisungen für Prüfende, Adjudikationsverfahren, Qualitätskontrollen und revisionssichere Nachweise liefern.
  • Bewerten und verbessern Sie die Genauigkeit, Kalibrierung, Robustheit, Abdeckung von Fehlermodi und Erklärbarkeit von automatisierten und menschlichen Evaluierungsmethoden.
  • Geben Sie die technische Richtung vor, kommunizieren Sie effektiv mit Führungskräften und fördern Sie Junior Data Scientists.

Anforderungen

  • Sie verfügen über mindestens acht Jahre Erfahrung in Data Science, angewandtem maschinellem Lernen, KI-Evaluierung, ML-Qualität oder einer verwandten technischen Disziplin, einschließlich technischer Führung und Teamentwicklung.
  • Sie verfügen über umfassende Erfahrung in der Entwicklung von Evaluierungsframeworks für Systeme des maschinellen Lernens, der generativen KI oder der agentischen KI, einschließlich Metriken, Datensätzen, Benchmarks, Bewertungsrastern und Qualitätsmessung.
  • Sie verfügen über praktische Kenntnisse von LLM-Evaluierungsansätzen wie LLM-as-Judge, deterministischer Bewertung, menschlicher Prüfung, der Bewertung von Halluzinationen und Faktentreue, Sicherheitsevaluierung und Benchmarking der Modellqualität.
  • Sie verfügen über solide Grundlagen in Data Science, Statistik, maschinellem Lernen, Experimenten, Datenkuratierung, Python, SQL und aktuellen Entwicklungspraktiken für KI und ML.
  • Sie übersetzen Governance-, Modellrisiko-, Responsible-AI- und Geschäftsanforderungen in messbare Kontrollen, wiederholbare Evaluierungsprozesse und für Entscheidungen geeignete Nachweise.
  • Sie kommunizieren klar und steuern Stakeholder effektiv. Dabei können Sie Führungskräfte aus Forschung, Engineering, Produktentwicklung, Governance, Risikomanagement und Geschäftsbereichen überzeugen.
  • Sie verfügen über Erfahrung in der Bewertung agentischer KI, Tool-Calling-Workflows, mehrstufigen Schlussfolgerns, Laufzeit-Traces, Trajektorienbewertung oder der Leistung auf Workflow-Ebene.
  • Sie verfügen über Erfahrung in Finanzdienstleistungen, regulierter KI, Modellrisikomanagement, verantwortungsvoller KI, Enterprise-Governance oder revisionssicheren Nachweisprozessen.
  • Sie sind mit MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, CI/CD-Pipelines oder vergleichbaren Tools für Evaluierung und Observability vertraut.
  • Publikationen, Patente, Open-Source-Beiträge oder Branchenerfahrung in KI-Evaluierung, ML-Qualität, KI-Sicherheit, angewandter Forschung oder verantwortungsvoller KI sind relevant.

Zusatzleistungen

  • Sie erhalten ein Total-Rewards-Programm mit Boni, flexiblen Leistungen, wettbewerbsfähiger Vergütung, Provisionen und gegebenenfalls Aktienzuteilungen.
  • Entwickeln Sie Ihre Karriere mit Führungskräften, die Coaching- und Managementmöglichkeiten bieten.
  • Tragen Sie zu Aufgaben bei, die eine bedeutende, nachhaltige Wirkung erzielen sollen.
  • Werden Sie Teil eines kooperativen, fortschrittlichen, dynamischen und leistungsstarken Teams.
  • Nutzen Sie ein umfassendes Schulungsprogramm mit Schwerpunkt auf Finanzdienstleistungen.
  • Übernehmen Sie anspruchsvolle Aufgaben mit Möglichkeiten zur beruflichen Weiterentwicklung.

Ähnliche Stellen

Hewlett Packard Enterprise

Senior Executive Assistant bei Hewlett Packard Enterprise

Hewlett Packard Enterprise
Sponsor für H1B-VisumHardwareKünstliche IntelligenzUnternehmen
USVereinigte StaatenTXTexas
40 $ – 93 $ / Stunde
HybridVollzeitSeniorLeadErforderliche Sprache: EnglischAssistenz der Geschäftsleitung

Unterstützung der Führungskräfte von HPE bei Kalendern, Reisen, Budgets, Präsentationen und Berichten. Koordination administrativer Abläufe über Abteilungsgrenzen hinweg bei Hewlett Packard Enterprise.

Öffnen
McKesson

KI-Full-Stack-Softwareentwickler

McKesson
Sponsor für H1B-VisumBeratungGesundheitswesenLogistik
USVereinigte StaatenOHOhioHybridVollzeitJuniorMittlere StufeErforderliche Sprache: EnglischFull-Stack-IngenieurSoftwareentwickler
AWSAzureDockerGoogle Cloud PlatformJavaScriptKubernetesNode.jsPythonPyTorchTensorFlow

Entwickle bei McKesson LLM-gestützte Gesundheitssoftware, darunter Retrieval-Augmented-Generation-Systeme und KI-Agenten. Baue Datenpipelines und Cloud-Anwendungen, die neue und bestehende Produkte um KI-Funktionen erweitern.

Öffnen
Aristocrat

Senior Automation Engineer – Blue Prism und Power Automate

Aristocrat
5.001 – 10.000 Mitarbeitende
Sponsor für H1B-VisumGamingTechnologieUnterhaltung
INIndienHybridVollzeitSeniorErforderliche Sprache: EnglischFull-Stack-IngenieurSoftwareentwickler
C++ERPJavaPythonSeleniumSQL

Bei Aristocrat entwickeln Sie Automatisierungslösungen mit Blue Prism und Power Automate und integrieren KI-Tools in Unternehmensabläufe. Die Rolle unterstützt Initiativen zur Prozessverbesserung und Transformation.

Öffnen
Serko Ltd.

Principal Engineer für agentische KI-Anwendungen – Serko (US-remote)

Serko Ltd.
201 – 500 Mitarbeitende
BeratungLogistikReisen
USVereinigte StaatenCAKalifornienWAWashington
168.000 $ – 240.000 $ / Jahr
RemoteVollzeitLeadErforderliche Sprache: EnglischFull-Stack-IngenieurSoftwareentwickler
JavaScriptNode.jsPythonTypeScript

Gestalte die Architektur für skalierbare agentische KI in Serkos globaler Plattform für Geschäftsreisen und Ausgabenmanagement. Entwickle zuverlässige LLM-Systeme, Laufzeitumgebungen und Observability-Infrastruktur.

Öffnen
McKesson

KI-Full-Stack-Softwareentwickler

McKesson
Sponsor für H1B-VisumBeratungGesundheitswesenLogistik
USVereinigte StaatenOHOhioHybridVollzeitJuniorMittlere StufeErforderliche Sprache: EnglischFull-Stack-IngenieurSoftwareentwickler
AWSAzureDockerGoogle Cloud PlatformJavaScriptKubernetesNode.jsPythonPyTorchTensorFlow

Entwickeln Sie KI-gestützte Gesundheitsanwendungen für McKesson, darunter Tools und Services auf Basis großer Sprachmodelle. Arbeiten Sie mit RAG-Systemen, KI-Agenten, Datenpipelines und Cloud-Software.

Öffnen