Mindrift là một thị trường nhân tài và nền tảng SaaS về trí tuệ nhân tạo, kết nối các cộng tác viên chuyên nghiệp và chuyên gia trong nhiều lĩnh vực với các dự án đào tạo và đánh giá AI từ các công ty công nghệ. Là một phần của Toloka, Mindrift hợp tác với các nhà biên tập, biên tập viên, chuyên gia QA, nhà khoa học và các chuyên gia chuyên môn khác để tạo dữ liệu đào tạo, đánh giá mức độ an toàn và khả năng suy luận của mô hình, thẩm định chất lượng nội dung đa phương tiện cũng như xây dựng các tình huống thực tế nhằm cải thiện hiệu suất và độ tin cậy của AI. Mindrift tuyển chọn và xác minh cộng tác viên thông qua các bài đánh giá và quy trình xác minh danh tính, sau đó cung cấp các cơ hội dự án trả phí linh hoạt trong lĩnh vực đào tạo và đánh giá AI.
Kỹ sư khai thác dữ liệu Python cấp cao (Bán thời gian, Làm việc từ xa tại Georgia)
Mindrift đang tìm kiếm một kỹ sư Python cấp cao để xây dựng các quy trình khai thác dữ liệu đáng tin cậy cho các dự án công nghệ AI. Vai trò này tập trung vào việc trích xuất, xác thực và mở rộng quy mô các tập dữ liệu có cấu trúc từ những website phức tạp, có tính động.
Mô tả
- Quản lý quy trình trích xuất dữ liệu đầu cuối trên các website phức tạp
- Cung cấp các tập dữ liệu có cấu trúc đầy đủ, chính xác và đáng tin cậy
- Áp dụng các công cụ hiện có và quy trình tùy chỉnh để đẩy nhanh việc thu thập, xác thực dữ liệu và thực hiện tác vụ
- Trích xuất dữ liệu từ các nguồn web động và tương tác, bao gồm các trang được kết xuất bằng JavaScript
- Điều chỉnh phương pháp khai thác dữ liệu khi hành vi của website thay đổi
- Duy trì chất lượng dữ liệu thông qua các bước kiểm tra xác thực, kiểm soát tính nhất quán giữa các nguồn, yêu cầu định dạng và quy trình xác minh có hệ thống
- Mở rộng quy mô khai thác các tập dữ liệu lớn bằng phương pháp xử lý theo lô hoặc xử lý song song hiệu quả
- Theo dõi các lỗi và duy trì tính ổn định khi cấu trúc website có những thay đổi nhỏ
- Kết hợp các công cụ như Apify và OpenRouter với chuyên môn kỹ thuật phù hợp
Yêu cầu
- Ít nhất 5 năm kinh nghiệm liên quan trong lĩnh vực kỹ thuật dữ liệu, khai thác dữ liệu web, tự động hóa hoặc phát triển phần mềm
- Ưu tiên ứng viên có bằng cử nhân hoặc thạc sĩ về kỹ thuật, toán học ứng dụng, khoa học máy tính hoặc lĩnh vực kỹ thuật liên quan
- Có kinh nghiệm vững về khai thác dữ liệu web bằng Python với BeautifulSoup, Selenium hoặc các công cụ tương đương, nội dung động và API được truy cập thông qua proxy
- Có khả năng đã được chứng minh trong việc trích xuất thông tin từ các cấu trúc phức tạp, bao gồm hệ phân cấp, trang lưu trữ và HTML không nhất quán
- Có kinh nghiệm vững trong việc làm sạch, chuẩn hóa và xác thực dữ liệu để bàn giao ở định dạng CSV, JSON hoặc Google Sheets
- Có kinh nghiệm thực tế trong việc xử lý cơ chế chống bot và cấu trúc website động ở quy mô lớn
- Có kinh nghiệm với AWS hoặc hạ tầng đám mây tương đương và công nghệ container hóa dựa trên Docker
- Có kinh nghiệm thực hành áp dụng các framework LLM như LangChain hoặc OpenRouter cho các tác vụ tự động hóa
- Chú ý cao đến chi tiết và cam kết mạnh mẽ về độ chính xác của dữ liệu
- Có khả năng làm việc độc lập và khắc phục sự cố mà không cần giám sát chặt chẽ
- Trình độ tiếng Anh trên trung cấp (B2) hoặc cao hơn
- Có đường dẫn hồ sơ GitHub là một lợi thế
Phúc lợi
- Hợp tác freelance từ xa bán thời gian
- Khoảng 10–20 giờ mỗi tuần trong các giai đoạn dự án đang hoạt động
- Làm việc trong các dự án phát triển công nghệ và AI