ActiveFence là một công ty về an ninh mạng và trí tuệ nhân tạo, tập trung vào lĩnh vực niềm tin và an toàn cho các nền tảng trực tuyến. Giải pháp toàn diện của công ty kết hợp nghiên cứu tình báo, công nghệ phát hiện nội dung độc hại bằng trí tuệ nhân tạo và các công cụ kiểm duyệt nội dung, giúp các nền tảng xử lý những rủi ro như bóc lột trẻ em, thông tin sai lệch, ngôn từ thù ghét, khủng bố, nội dung khỏa thân, gian lận và các hình thức gây hại trực tuyến khác. ActiveFence hỗ trợ các đội ngũ phụ trách niềm tin và an toàn với nhiều quy mô khác nhau, góp phần bảo vệ hơn ba tỷ người dùng trên toàn thế giới qua hơn 100 ngôn ngữ.
Nhà nghiên cứu AI cấp cao – làm việc kết hợp tại Israel
Dẫn dắt hoạt động đánh giá học tăng cường, kiểm thử tấn công và kiểm toán bảo mật cho các mô hình AI có trọng số mở. Xây dựng quy trình đánh chuẩn và hậu huấn luyện cho công tác tin cậy, an toàn và bảo mật AI của ActiveFence.
Mô tả
- Dẫn dắt hoạt động đánh giá hậu huấn luyện, diễn tập kiểm thử tấn công và kiểm toán môi trường học tăng cường cho các mô hình có trọng số mở
- Thiết kế các phương pháp đánh chuẩn nghiêm ngặt
- Đánh giá các mô hình ngôn ngữ lớn trước những mối đe dọa tinh vi, bao gồm các cuộc tấn công chèn lời nhắc gián tiếp
- Xây dựng quy trình đánh giá hậu huấn luyện để đo lường năng lực bảo mật thực tế ở cấp độ tiên phong
- Thực hiện các thử nghiệm hậu huấn luyện như GRPO với các mô hình tổng quát có trọng số mở trong môi trường học tăng cường tập trung vào bảo mật
- Phân tích các đường cong mất mát trực tiếp và dấu vết triển khai để phát hiện việc gian lận phần thưởng, hội tụ chính sách lười biếng và các bộ kiểm chứng được đặc tả kém
- Đánh giá các tác vụ và môi trường đa lượt có sử dụng công cụ, điều hướng web và sử dụng máy tính về tính chân thực, độ chính xác của mô hình mối đe dọa, phân phối dữ liệu và sự cân bằng của tập dữ liệu
- Soạn thẻ đánh giá bao quát mức cải thiện hiệu năng của checkpoint, các dạng lỗi, số token và lượt triển khai, cùng tỷ lệ thành công ở cấp tác vụ
- Tích hợp các môi trường được đóng gói bằng Docker, bao gồm môi trường định dạng Harbor, vào các khung huấn luyện nội bộ
- Cải thiện ngữ nghĩa đặt lại và duy trì trạng thái, khả năng đồng thời và giới hạn thông lượng
Yêu cầu
- Bằng thạc sĩ hoặc tiến sĩ về Khoa học dữ liệu, Học máy, Khoa học máy tính hoặc kinh nghiệm thực tế tương đương về học sâu
- Có kinh nghiệm thực hành huấn luyện các mô hình quy mô lớn bằng các thuật toán học tăng cường như GRPO hoặc PPO trên các kiến trúc có trọng số mở
- Am hiểu sâu về các lỗ hổng của LLM, thực hành kiểm thử tấn công và căn chỉnh phòng thủ trước các cuộc tấn công chèn lời nhắc gián tiếp
- Thành thạo PyTorch, đóng gói container bằng Docker và các kiến trúc huấn luyện phân tán
- Có khả năng diễn giải dấu vết triển khai của tác nhân, tạo các tiêu chí đánh giá và bộ kiểm chứng xác định, đồng thời gỡ lỗi các vấn đề phức tạp trong định hình phần thưởng
- Ưu tiên có kinh nghiệm với các định dạng môi trường học tăng cường tiêu chuẩn như Harbor
- Ưu tiên có kinh nghiệm đánh giá các quy trình tác nhân phức tạp trong môi trường sử dụng công cụ hoặc trình duyệt web
- Ưu tiên quen thuộc với việc đánh giá các mô hình có trọng số mở kiểu Llama hoặc Mistral trước các khối lượng công việc đối kháng