RBC là một tổ chức dịch vụ tài chính toàn cầu có trụ sở tại Canada, hoạt động trong các lĩnh vực ngân hàng, tài chính, bảo hiểm, đầu tư, quản lý tài sản, hoạch định tài chính và thị trường vốn. Phục vụ hơn 17 triệu khách hàng tại Canada, Hoa Kỳ và 27 quốc gia khác, RBC có đội ngũ hơn 94.000 nhân viên. Mô hình đa dạng của RBC kết hợp các dịch vụ tài chính lâu đời với trọng tâm là đổi mới và trải nghiệm khách hàng.
Nhà khoa học dữ liệu cấp cao, Nền tảng đánh giá AI
Dẫn dắt việc thiết kế các khung đánh giá, bộ dữ liệu và cơ chế kiểm soát chất lượng cho các hệ thống AI doanh nghiệp của RBC. Thiết lập tiêu chuẩn kỹ thuật, hỗ trợ bằng chứng quản trị và cố vấn cho các nhóm khoa học dữ liệu trên khắp Canada.
Mô tả
- Phát triển các phương pháp đánh giá tiên tiến cho mô hình và tác tử bằng cách sử dụng bộ dữ liệu, rubric, kỹ thuật LLM-as-judge, chấm điểm xác định, đánh giá bởi con người và các khung đo lường.
- Thiết lập các tiêu chuẩn khoa học đánh giá, chuyển hóa rủi ro mô hình, AI có trách nhiệm, chất lượng sản phẩm, an toàn và nhu cầu kinh doanh thành các tiêu chí có thể đo lường cùng những quy trình có thể lặp lại.
- Quản lý toàn bộ vòng đời của bộ dữ liệu và bảng điểm đánh giá, từ thu thập và tuyển chọn đến xác thực, đảm bảo chất lượng, lập phiên bản, theo dõi nguồn gốc, tái sử dụng và cải tiến liên tục.
- Xây dựng các chiến lược đánh giá có khả năng mở rộng cho AI tạo sinh và AI tác tử ở cấp độ tác vụ, quy trình, quỹ đạo và thời gian chạy.
- Phối hợp với các nhóm nghiên cứu AI, kỹ thuật nền tảng, sản phẩm, rủi ro, quản trị và kinh doanh để tích hợp hoạt động đánh giá vào các quy trình phát triển, phát hành, chứng nhận, giám sát và tái chứng nhận.
- Xây dựng các quy trình đánh giá và rà soát bởi con người, cung cấp nhãn đáng tin cậy, hướng dẫn cho người đánh giá, quy trình phân xử, kiểm soát chất lượng và bằng chứng sẵn sàng cho kiểm toán.
- Đánh giá và cải thiện độ chính xác, hiệu chuẩn, độ bền vững, mức độ bao phủ các dạng lỗi và khả năng giải thích của bộ chấm điểm trong các phương pháp đánh giá tự động và do con người thực hiện.
- Định hướng kỹ thuật, giao tiếp hiệu quả với lãnh đạo cấp cao và cố vấn cho các nhà khoa học dữ liệu cấp dưới.
Yêu cầu
- Có ít nhất tám năm kinh nghiệm trong lĩnh vực khoa học dữ liệu, học máy ứng dụng, đánh giá AI, chất lượng ML hoặc chuyên môn kỹ thuật liên quan, bao gồm năng lực lãnh đạo kỹ thuật và cố vấn nhóm.
- Có kinh nghiệm vững chắc trong việc xây dựng khung đánh giá cho các hệ thống học máy, AI tạo sinh hoặc AI tác tử, bao quát số liệu, bộ dữ liệu, điểm chuẩn, rubric và đo lường chất lượng.
- Có kiến thức thực tiễn về các phương pháp đánh giá LLM như LLM-as-judge, chấm điểm xác định, đánh giá bởi con người, đánh giá hiện tượng bịa đặt và tính xác thực, đánh giá an toàn và đo điểm chuẩn chất lượng mô hình.
- Có nền tảng vững chắc về khoa học dữ liệu, thống kê, học máy, thực nghiệm, tuyển chọn dữ liệu, Python, SQL và các phương pháp phát triển AI/ML hiện hành.
- Chuyển hóa các yêu cầu về quản trị, rủi ro mô hình, AI có trách nhiệm và kinh doanh thành các cơ chế kiểm soát có thể đo lường, quy trình đánh giá lặp lại được và bằng chứng phù hợp cho việc ra quyết định.
- Giao tiếp rõ ràng và quản lý các bên liên quan hiệu quả, có khả năng tạo ảnh hưởng đến lãnh đạo cấp cao trong các bộ phận nghiên cứu, kỹ thuật, sản phẩm, quản trị, rủi ro và kinh doanh.
- Có kinh nghiệm đánh giá AI tác tử, quy trình gọi công cụ, suy luận nhiều bước, dấu vết thời gian chạy, chấm điểm quỹ đạo hoặc hiệu suất ở cấp độ quy trình.
- Có kinh nghiệm trong dịch vụ tài chính, AI chịu sự quản lý, quản lý rủi ro mô hình, AI có trách nhiệm, quản trị doanh nghiệp hoặc các quy trình bằng chứng sẵn sàng cho kiểm toán.
- Quen thuộc với MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, quy trình CI/CD hoặc các công cụ đánh giá và quan sát tương đương.
- Các công bố, bằng sáng chế, đóng góp mã nguồn mở hoặc kinh nghiệm trong ngành về đánh giá AI, chất lượng ML, an toàn AI, nghiên cứu ứng dụng hoặc AI có trách nhiệm đều được xem là phù hợp.
Phúc lợi
- Nhận Chương trình Tổng đãi ngộ với tiền thưởng, phúc lợi linh hoạt, chế độ đãi ngộ cạnh tranh, hoa hồng và các khoản thưởng cổ phiếu nếu áp dụng.
- Phát triển sự nghiệp cùng các nhà lãnh đạo cung cấp cơ hội được huấn luyện và quản lý.
- Đóng góp vào những công việc được thiết kế để tạo ra tác động có ý nghĩa và lâu dài.
- Gia nhập một đội ngũ hợp tác, tiến bộ, năng động và có hiệu suất cao.
- Tiếp cận chương trình đào tạo toàn diện tập trung vào lĩnh vực dịch vụ tài chính.
- Đảm nhận những công việc đầy thử thách với cơ hội phát triển chuyên môn.