RBC는 캐나다에 본사를 둔 글로벌 금융 서비스 기관으로, 은행, 금융, 보험, 투자, 자산 관리, 재무 설계 및 자본 시장 등 다양한 분야에서 사업을 운영하고 있습니다. 캐나다와 미국을 비롯해 27개 국가에서 1,700만 명이 넘는 고객에게 서비스를 제공하며, 직원 수는 94,000명 이상입니다. RBC는 다각화된 사업 모델을 바탕으로 검증된 금융 서비스와 혁신 및 고객 경험에 대한 집중을 결합하고 있습니다.
스태프 데이터 사이언티스트, AI 평가 플랫폼
RBC의 엔터프라이즈 AI 시스템을 위한 평가 프레임워크, 데이터셋, 품질 관리 체계를 설계합니다. 기술 표준을 수립하고 거버넌스 증거 구축을 지원하며 캐나다 전역의 데이터 사이언스 팀을 멘토링합니다.
설명
- 데이터셋, 루브릭, LLM-as-a-judge 기법, 결정론적 스코어링, 사람의 검토, 측정 프레임워크를 활용해 모델과 에이전트를 위한 고급 평가 방법을 개발합니다.
- 모델 위험, 책임 있는 AI, 제품 품질, 안전성, 비즈니스 요구사항을 측정 가능한 기준과 반복 가능한 프로세스로 전환하는 평가 과학 표준을 수립합니다.
- 평가 데이터셋과 스코어카드의 소싱 및 큐레이션부터 검증, 품질 보증, 버전 관리, 계보, 재사용, 지속적인 개선까지 전체 수명 주기를 관리합니다.
- 작업, 워크플로, 궤적, 런타임 수준에 걸쳐 생성형 AI와 에이전트형 AI를 위한 확장 가능한 평가 전략을 수립합니다.
- AI 연구, 플랫폼 엔지니어링, 제품, 리스크, 거버넌스, 비즈니스 팀과 협업하여 개발, 출시, 인증, 모니터링, 재인증 프로세스에 평가를 통합합니다.
- 신뢰할 수 있는 라벨, 검토자 지침, 판정 절차, 품질 관리, 감사 대응이 가능한 증거를 제공하는 사람 중심의 평가 및 검토 프로토콜을 구축합니다.
- 자동화 및 사람 중심 평가 방법 전반에서 평가자의 정확도, 보정, 견고성, 실패 모드 포괄성, 설명 가능성을 평가하고 개선합니다.
- 기술적 방향을 제시하고 임원과 효과적으로 소통하며 주니어 데이터 사이언티스트를 멘토링합니다.
지원 자격
- 데이터 사이언스, 응용 머신러닝, AI 평가, ML 품질 또는 관련 기술 분야에서 최소 8년의 경력이 있으며 기술 리더십과 팀 멘토링 경험이 있어야 합니다.
- 머신러닝, 생성형 AI 또는 에이전트형 AI 시스템을 위한 평가 프레임워크를 구축한 풍부한 경험이 있으며 지표, 데이터셋, 벤치마크, 루브릭, 품질 측정을 다뤄야 합니다.
- LLM-as-a-judge, 결정론적 스코어링, 사람의 검토, 환각 및 사실성 평가, 안전성 평가, 모델 품질 벤치마킹 등 LLM 평가 방식에 대한 실무 지식이 있어야 합니다.
- 데이터 사이언스, 통계, 머신러닝, 실험, 데이터 큐레이션, Python, SQL, 최신 AI/ML 개발 관행에 대한 탄탄한 기반이 있어야 합니다.
- 거버넌스, 모델 위험, 책임 있는 AI, 비즈니스 요구사항을 측정 가능한 통제, 반복 가능한 평가 프로세스, 의사결정에 적합한 증거로 전환할 수 있어야 합니다.
- 명확한 의사소통과 효과적인 이해관계자 관리 능력을 갖추고 연구, 엔지니어링, 제품, 거버넌스, 리스크, 비즈니스 부문의 고위 리더에게 영향력을 발휘할 수 있어야 합니다.
- 에이전트형 AI, 도구 호출 워크플로, 다단계 추론, 런타임 추적, 궤적 스코어링 또는 워크플로 수준 성능 평가 경험이 있어야 합니다.
- 금융 서비스, 규제 대상 AI, 모델 리스크 관리, 책임 있는 AI, 엔터프라이즈 거버넌스 또는 감사 대응 증거 프로세스 경험이 있어야 합니다.
- MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, CI/CD 파이프라인 또는 이에 준하는 평가 및 관측성 도구에 익숙해야 합니다.
- AI 평가, ML 품질, AI 안전성, 응용 연구 또는 책임 있는 AI 분야의 출판물, 특허, 오픈소스 기여 또는 업계 경험이 있다면 관련성이 높습니다.
복리후생
- 보너스, 유연한 복리후생, 경쟁력 있는 보상, 커미션, 해당되는 주식 보상을 포함한 종합 보상 프로그램을 받을 수 있습니다.
- 코칭과 관리 기회를 제공하는 리더와 함께 경력을 개발할 수 있습니다.
- 의미 있고 지속적인 영향 창출을 목표로 하는 업무에 기여할 수 있습니다.
- 협력적이고 진취적이며 역동적이고 높은 성과를 내는 팀에 합류할 수 있습니다.
- 금융 서비스에 중점을 둔 종합 교육 프로그램을 이용할 수 있습니다.
- 도전적인 업무를 수행하며 전문적으로 성장할 기회를 얻을 수 있습니다.