Mindrift là một thị trường nhân tài và nền tảng SaaS về trí tuệ nhân tạo, kết nối các cộng tác viên chuyên nghiệp và chuyên gia trong nhiều lĩnh vực với các dự án đào tạo và đánh giá AI từ các công ty công nghệ. Là một phần của Toloka, Mindrift hợp tác với các nhà biên tập, biên tập viên, chuyên gia QA, nhà khoa học và các chuyên gia chuyên môn khác để tạo dữ liệu đào tạo, đánh giá mức độ an toàn và khả năng suy luận của mô hình, thẩm định chất lượng nội dung đa phương tiện cũng như xây dựng các tình huống thực tế nhằm cải thiện hiệu suất và độ tin cậy của AI. Mindrift tuyển chọn và xác minh cộng tác viên thông qua các bài đánh giá và quy trình xác minh danh tính, sau đó cung cấp các cơ hội dự án trả phí linh hoạt trong lĩnh vực đào tạo và đánh giá AI.
Kỹ sư cấp cao về thu thập dữ liệu web bằng Python — Freelancer, làm việc từ xa tại Ba Lan
Mindrift đang tìm kiếm kỹ sư Python cấp cao để xây dựng các quy trình thu thập dữ liệu web đáng tin cậy cho các dự án AI. Vai trò này tập trung vào việc trích xuất, xác thực và xử lý dữ liệu có cấu trúc từ các website phức tạp, có tính động.
Mô tả
- Quản lý toàn bộ quy trình trích xuất dữ liệu trên các website phức tạp
- Cung cấp các tập dữ liệu có cấu trúc đầy đủ, chính xác và đáng tin cậy
- Áp dụng các công cụ và quy trình tùy chỉnh để tăng tốc việc thu thập, xác thực và thực hiện tác vụ
- Trích xuất dữ liệu đáng tin cậy từ các nguồn web tương tác và có tính động
- Điều chỉnh phương pháp thu thập dữ liệu cho nội dung được kết xuất bằng JavaScript và hành vi website liên tục thay đổi
- Duy trì chất lượng dữ liệu thông qua xác thực, đối chiếu giữa các nguồn, tiêu chuẩn định dạng và rà soát có hệ thống
- Xử lý hoạt động thu thập dữ liệu quy mô lớn bằng phương pháp phân lô và xử lý song song hiệu quả
- Theo dõi các lỗi trích xuất và duy trì tính ổn định khi cấu trúc website thay đổi nhỏ
- Áp dụng Apify, OpenRouter và các công nghệ liên quan để trích xuất dữ liệu web và xử lý dữ liệu
Yêu cầu
- Từ 5 năm kinh nghiệm liên quan trở lên trong lĩnh vực kỹ thuật dữ liệu, thu thập dữ liệu web, tự động hóa hoặc phát triển phần mềm
- Bằng cử nhân hoặc thạc sĩ về kỹ thuật, toán học ứng dụng, khoa học máy tính hoặc ngành kỹ thuật liên quan là một lợi thế
- Nền tảng thực tiễn vững chắc về lập trình tập lệnh, tự động hóa và quy trình trích xuất dữ liệu
- Kinh nghiệm nâng cao về thu thập dữ liệu bằng Python với BeautifulSoup, Selenium hoặc các công cụ tương đương, nội dung JavaScript và AJAX, cuộn vô hạn và API dựa trên proxy
- Có khả năng trích xuất thông tin từ các cấu trúc phân cấp phức tạp, trang lưu trữ và HTML không nhất quán
- Kinh nghiệm làm sạch, chuẩn hóa và xác thực dữ liệu để bàn giao ở định dạng CSV, JSON và Google Sheets
- Kinh nghiệm làm việc với các hệ thống chống bot và cấu trúc website thay đổi ở quy mô lớn
- Kinh nghiệm thực tế sử dụng AWS hoặc hạ tầng đám mây tương đương cùng Docker trong quy trình sản xuất
- Đã trực tiếp sử dụng LangChain, OpenRouter hoặc các framework LLM tương tự cho hoạt động tự động hóa
- Tỉ mỉ và tập trung cao vào độ chính xác của dữ liệu
- Phong cách làm việc độc lập, có khả năng điều tra và giải quyết vấn đề mà không cần giám sát chặt chẽ
- Trình độ tiếng Anh trên trung cấp (B2) hoặc cao hơn
- Có hồ sơ GitHub là một lợi thế
Phúc lợi
- Hợp tác theo dự án freelance
- Khối lượng công việc bán thời gian khoảng 10–20 giờ mỗi tuần trong các giai đoạn dự án đang triển khai
- Làm việc từ xa tại Ba Lan
- Mức thù lao tương đương tối đa 40 USD mỗi giờ, tùy thuộc vào trình độ kinh nghiệm và tốc độ đóng góp