Mindrift là một thị trường nhân tài và nền tảng SaaS về trí tuệ nhân tạo, kết nối các cộng tác viên chuyên nghiệp và chuyên gia trong nhiều lĩnh vực với các dự án đào tạo và đánh giá AI từ các công ty công nghệ. Là một phần của Toloka, Mindrift hợp tác với các nhà biên tập, biên tập viên, chuyên gia QA, nhà khoa học và các chuyên gia chuyên môn khác để tạo dữ liệu đào tạo, đánh giá mức độ an toàn và khả năng suy luận của mô hình, thẩm định chất lượng nội dung đa phương tiện cũng như xây dựng các tình huống thực tế nhằm cải thiện hiệu suất và độ tin cậy của AI. Mindrift tuyển chọn và xác minh cộng tác viên thông qua các bài đánh giá và quy trình xác minh danh tính, sau đó cung cấp các cơ hội dự án trả phí linh hoạt trong lĩnh vực đào tạo và đánh giá AI.
Kỹ sư cấp cao về thu thập dữ liệu web bằng Python tại Ý (Làm việc từ xa)
Tham gia dự án Tendem AI của Mindrift để xây dựng các quy trình thu thập web và dữ liệu có cấu trúc đáng tin cậy. Công việc tập trung vào website động, xác thực dữ liệu, trích xuất có khả năng mở rộng và tự động hóa.
Mô tả
- Dẫn dắt toàn bộ quy trình trích xuất trên các website phức tạp, cung cấp các tập dữ liệu có cấu trúc đầy đủ, chính xác và đáng tin cậy
- Sử dụng các nền tảng hiện có và quy trình tùy chỉnh để đẩy nhanh việc thu thập, xác thực và hoàn thành nhiệm vụ theo thông số đã xác định
- Điều chỉnh phương pháp trích xuất cho các trang được kết xuất bằng JavaScript, nguồn tương tác và hành vi website luôn thay đổi
- Duy trì chất lượng dữ liệu thông qua xác thực, đối chiếu giữa các nguồn, kiểm soát định dạng và rà soát có cấu trúc trước khi bàn giao
- Mở rộng năng lực thu thập dữ liệu cho các tập dữ liệu lớn bằng cách phân lô hiệu quả và xử lý song song
- Theo dõi các lỗi trích xuất và duy trì độ tin cậy vận hành khi cấu trúc website thay đổi
- Áp dụng chuyên môn về thu thập web, trích xuất và xử lý dữ liệu cho dự án Tendem
- Kết hợp khả năng phán đoán kỹ thuật với Apify, OpenRouter và các công cụ khác để phát triển các giải pháp tùy chỉnh hiệu quả
Yêu cầu
- Yêu cầu có từ 5 năm kinh nghiệm liên quan trở lên trong lĩnh vực kỹ thuật dữ liệu, thu thập web, tự động hóa hoặc phát triển phần mềm
- Bằng cử nhân hoặc thạc sĩ về kỹ thuật, toán học ứng dụng, khoa học máy tính hoặc ngành kỹ thuật liên quan là một lợi thế
- Có kinh nghiệm nâng cao về thu thập dữ liệu bằng Python với BeautifulSoup, Selenium hoặc các công cụ tương đương, nội dung động và API qua proxy
- Có khả năng lấy dữ liệu từ các nguồn phức tạp như cấu trúc phân cấp, trang lưu trữ và HTML không nhất quán
- Có kinh nghiệm làm sạch, chuẩn hóa và xác thực dữ liệu để bàn giao ở định dạng CSV, JSON hoặc Google Sheets
- Có kinh nghiệm thực tế trong việc xử lý cơ chế chống bot và cấu trúc website thay đổi ở quy mô lớn
- Quen thuộc với AWS hoặc hạ tầng đám mây tương đương và việc container hóa dựa trên Docker
- Đã trực tiếp sử dụng LangChain, OpenRouter hoặc các framework LLM tương tự cho mục đích tự động hóa
- Có sự chú ý đặc biệt đến chi tiết và luôn tập trung vào độ chính xác của dữ liệu
- Có khả năng làm việc độc lập, điều tra sự cố và giải quyết vấn đề mà không cần giám sát chặt chẽ
- Yêu cầu trình độ tiếng Anh trên trung cấp (B2) hoặc cao hơn
- Có liên kết hồ sơ GitHub là một lợi thế
Phúc lợi
- Hợp tác theo hình thức tự do
- Làm việc từ xa bán thời gian
- Khối lượng công việc dự kiến từ 10–20 giờ mỗi tuần trong các giai đoạn dự án đang triển khai