mpathic
mpathic
mpathic phát triển phần mềm an toàn và phân tích AI nhằm tìm hiểu, cải thiện tương tác giữa con người với AI cũng như giữa người với người. Các sản phẩm SaaS và API của công ty hỗ trợ phiên âm giọng nói thành văn bản, ẩn thông tin nhận dạng cá nhân, phân tích hành vi và danh mục kiểm tra, xây dựng bộ dữ liệu đối chuẩn, kiểm thử đối kháng và triển khai các cơ chế bảo vệ theo lĩnh vực thông qua Observing Agent API. Công ty phục vụ các tổ chức trong lĩnh vực chăm sóc sức khỏe, khoa học sự sống, nghiên cứu lâm sàng, bảo hiểm và doanh nghiệp, giúp tăng cường sự đồng cảm, giảm thiên kiến và hỗ trợ những tương tác an toàn, tuân thủ hơn.

Chuyên gia thẩm định đánh giá AI/ML trong y tế

Thẩm định bằng chứng cho các ứng dụng AI trong y tế trong khuôn khổ đánh giá tại môi trường thử nghiệm pháp lý của mpathic. Đánh giá việc kiểm định mô hình, độ tin cậy, biện pháp bảo vệ và giám sát khi ứng dụng lâm sàng.

Mô tả

  • Đánh giá bằng chứng kỹ thuật cho các ứng dụng AI trong y tế, bao gồm hiệu năng, kiểm định, khả năng khái quát hóa, độ tin cậy, giám sát và các biện pháp bảo vệ.
  • Rà soát phương pháp kiểm định, tiêu chuẩn đối chiếu, cỡ mẫu, phân tích thống kê, chỉ số, ngưỡng vận hành và mức độ bất định.
  • Kiểm tra chất lượng và tính đại diện của dữ liệu, bao gồm rò rỉ dữ liệu, khác biệt giữa các nhóm và khả năng khái quát hóa giữa các nhóm bệnh nhân và bối cảnh chăm sóc.
  • Kiểm tra độ tin cậy kỹ thuật, tính vững chắc, khả năng tái lập, các dạng lỗi và cách hệ thống xử lý đầu vào bất thường hoặc nằm ngoài phân phối.
  • Rà soát kế hoạch đánh giá, bộ chuẩn đối sánh và tiêu chí thành công cho các đợt triển khai thí điểm.
  • Đánh giá các biện pháp bảo vệ kỹ thuật, quy trình chuyển cấp và cơ chế giám sát của con người.
  • Rà soát kế hoạch giám sát và quản lý thay đổi nhằm phát hiện suy giảm hiệu năng, theo dõi hành vi mô hình, quản lý cập nhật và can thiệp, đồng thời xác định tiêu chí quay lui.
  • Phối hợp với bác sĩ lâm sàng và chuyên gia kỹ thuật để xử lý các vấn đề liên ngành.
  • Ghi nhận điểm mạnh, hạn chế, khoảng trống bằng chứng và quan ngại kỹ thuật theo khuôn khổ thẩm định tiêu chuẩn.
  • Đưa ra khuyến nghị rõ ràng dựa trên bằng chứng và nêu cụ thể bằng chứng hoặc thay đổi cần bổ sung.
  • Tham gia hiệu chỉnh giữa các chuyên gia thẩm định và bảo đảm chất lượng.
  • Duy trì tính độc lập và bảo mật, tuân thủ các yêu cầu về xung đột lợi ích và xử lý dữ liệu.

Yêu cầu

  • Có ít nhất ba năm kinh nghiệm chuyên môn hoặc nghiên cứu ứng dụng trong học máy, khoa học dữ liệu, thống kê sinh học, tin học lâm sàng hoặc lĩnh vực liên quan; trong đó có trực tiếp đánh giá hoặc kiểm định mô hình dự báo hay hệ thống AI.
  • Hiểu các phương pháp đánh giá mô hình, bao gồm chỉ số hiệu năng phù hợp, thiết kế kiểm định, độ bất định thống kê, lựa chọn ngưỡng và các nguồn sai lệch hoặc lỗi phương pháp thường gặp.
  • Có kinh nghiệm đánh giá hiệu năng mô hình trên dữ liệu độc lập hoặc tập dữ liệu giữ lại, đồng thời xác định liệu kết quả có khái quát được ngoài tập dữ liệu đánh giá hay không.
  • Có kinh nghiệm thực tiễn đánh giá ít nhất một loại hệ thống AI liên quan, chẳng hạn NLP lâm sàng, mô hình ngôn ngữ lớn, AI hội thoại, chẩn đoán hình ảnh, thị giác máy tính hoặc mô hình dự báo dạng bảng.
  • Có khả năng phản biện nghiên cứu kỹ thuật, báo cáo đánh giá hoặc nghiên cứu kiểm định, đồng thời nhận diện điểm yếu về phương pháp hoặc kết luận thiếu căn cứ.
  • Có kỹ năng viết phân tích tốt và khả năng giải thích rõ ràng các phát hiện phức tạp cho người không chuyên về kỹ thuật.
  • Có khả năng làm việc độc lập và đóng góp vào hoạt động thẩm định, hiệu chỉnh của nhóm chuyên gia đa ngành.
  • Sẵn sàng hoàn tất thỏa thuận bảo mật, kê khai xung đột lợi ích và chương trình đào tạo chuyên gia thẩm định.
  • Có kinh nghiệm đánh giá hệ thống AI hoặc ML trong y tế, hỗ trợ quyết định lâm sàng, y tế số hoặc lĩnh vực có mức độ rủi ro cao khác.
  • Quen thuộc với các khuôn khổ đánh giá và báo cáo AI lâm sàng như TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI hoặc thẻ mô hình.
  • Có kinh nghiệm đánh giá AI tạo sinh, hệ thống dựa trên LLM hoặc tác tử tự hành, bao gồm hành vi qua nhiều lượt, độ tin cậy, hiện tượng bịa thông tin và biện pháp bảo vệ.
  • Có kinh nghiệm kiểm tra tính vững chắc, đánh giá đối kháng, mô phỏng tấn công hoặc phân tích có hệ thống các dạng lỗi.
  • Có kiến thức về giám sát trong môi trường thực tế, thay đổi phân phối, trôi mô hình, kiểm soát phiên bản và quản lý thay đổi.
  • Có kinh nghiệm thiết kế hoặc đánh giá hệ thống có con người tham gia trong vòng lặp, hoặc so sánh hiệu năng mô hình với đánh giá của chuyên gia.
  • Quen thuộc với hướng dẫn của FDA về thiết bị y tế sử dụng AI, hỗ trợ quyết định lâm sàng hoặc phần mềm dưới dạng thiết bị y tế.
  • Có kinh nghiệm thực hiện thẩm định kỹ thuật độc lập, phản biện khoa học, đánh giá hồ sơ tài trợ hoặc đánh giá công nghệ chính thức.
  • Có kinh nghiệm làm việc với bác sĩ lâm sàng, nhà nghiên cứu hoặc các bên liên quan về quản lý để đánh giá hoặc triển khai AI.

Phúc lợi

  • Công việc hợp đồng, thù lao được tính theo từng lần thẩm định.
  • Có buổi hướng dẫn dành cho chuyên gia thẩm định về khuôn khổ đánh giá và yêu cầu dự án trước khi nhận nhiệm vụ đầu tiên.

Việc làm liên quan

Sigma AI

Chuyên viên gán nhãn ngôn ngữ tiếng Hoa Quảng Đông

Sigma AI

Làm việc từ xa theo hình thức tự do với vai trò chuyên viên gán nhãn tiếng Quảng Đông–Anh trong các dự án thu thập dữ liệu của Sigma AI. Công việc gồm gán nhãn, phiên âm, xác thực và ghi âm giọng nói.

Mở
Volga Partners

Chuyên gia y tế đánh giá mô hình AI

Volga Partners

Volga Partners tuyển bác sĩ, điều dưỡng thực hành nâng cao và trợ lý bác sĩ để đánh giá độ chính xác lâm sàng, khả năng suy luận và độ an toàn của nội dung y khoa do AI tạo ra. Công việc hợp đồng từ xa theo dự án, với khối lượng thay đổi tùy nhu cầu từng dự án.

Mở