Mindrift là một thị trường nhân tài và nền tảng SaaS về trí tuệ nhân tạo, kết nối các cộng tác viên chuyên nghiệp và chuyên gia trong nhiều lĩnh vực với các dự án đào tạo và đánh giá AI từ các công ty công nghệ. Là một phần của Toloka, Mindrift hợp tác với các nhà biên tập, biên tập viên, chuyên gia QA, nhà khoa học và các chuyên gia chuyên môn khác để tạo dữ liệu đào tạo, đánh giá mức độ an toàn và khả năng suy luận của mô hình, thẩm định chất lượng nội dung đa phương tiện cũng như xây dựng các tình huống thực tế nhằm cải thiện hiệu suất và độ tin cậy của AI. Mindrift tuyển chọn và xác minh cộng tác viên thông qua các bài đánh giá và quy trình xác minh danh tính, sau đó cung cấp các cơ hội dự án trả phí linh hoạt trong lĩnh vực đào tạo và đánh giá AI.
Kỹ sư cấp cao về thu thập dữ liệu web bằng Python — Làm việc từ xa tại Ấn Độ
Kỹ sư Python cấp cao chịu trách nhiệm xây dựng các quy trình thu thập dữ liệu đáng tin cậy cho dự án Tendem AI của Mindrift. Vai trò này tập trung vào việc trích xuất, xác thực và mở rộng quy mô dữ liệu có cấu trúc từ các website phức tạp, có tính động.
Mô tả
- Quản lý toàn bộ quy trình trích xuất dữ liệu trên các website phức tạp, duy trì phạm vi bao phủ rộng, độ chính xác và khả năng cung cấp các tập dữ liệu có cấu trúc đáng tin cậy.
- Sử dụng các công cụ hiện có và quy trình được điều chỉnh phù hợp để cải thiện việc thu thập, xác thực dữ liệu và thực hiện tác vụ, đồng thời đáp ứng các yêu cầu đã xác định.
- Trích xuất dữ liệu một cách đáng tin cậy từ các nguồn động và tương tác bằng cách thích ứng với nội dung được kết xuất bằng JavaScript và hành vi website luôn thay đổi.
- Duy trì chất lượng dữ liệu thông qua các bước kiểm tra xác thực, so sánh giữa nhiều nguồn, kiểm soát định dạng và xác minh có hệ thống trước khi bàn giao.
- Mở rộng quy mô thu thập dữ liệu lớn thông qua các kỹ thuật chia lô và xử lý song song hiệu quả.
- Theo dõi các lỗi trích xuất và duy trì sự ổn định của quy trình khi cấu trúc website có những thay đổi nhỏ.
- Áp dụng chuyên môn về thu thập dữ liệu web, trích xuất dữ liệu và xử lý dữ liệu vào các trường hợp sử dụng thực tế trong dự án Tendem.
Yêu cầu
- Có ít nhất 5 năm kinh nghiệm liên quan trong lĩnh vực kỹ thuật dữ liệu, thu thập dữ liệu web, tự động hóa hoặc phát triển phần mềm.
- Có kinh nghiệm vững về thu thập dữ liệu bằng Python với BeautifulSoup, Selenium hoặc các công cụ tương đương, bao gồm JavaScript, AJAX, cuộn vô hạn và truy cập API qua proxy.
- Có khả năng trích xuất thông tin từ các cấu trúc phức tạp như cấu trúc phân cấp, trang lưu trữ và HTML không nhất quán.
- Có kinh nghiệm thực tế trong việc làm sạch, chuẩn hóa và xác thực dữ liệu để bàn giao ở các định dạng CSV, JSON hoặc Google Sheets.
- Có kinh nghiệm xử lý các biện pháp chống bot và cấu trúc website thay đổi trong các quy trình thu thập dữ liệu quy mô lớn.
- Có kinh nghiệm thực hành với AWS hoặc hạ tầng đám mây tương đương và công nghệ container hóa dựa trên Docker trong các quy trình sản xuất.
- Có kinh nghiệm áp dụng các framework LLM như LangChain, OpenRouter hoặc công cụ tương tự vào các tác vụ tự động hóa.
- Chú trọng cao đến chi tiết và luôn tập trung vào độ chính xác của dữ liệu.
- Có khả năng làm việc độc lập, điều tra vấn đề và khắc phục sự cố hiệu quả.
- Có trình độ tiếng Anh trên trung cấp, tương đương B2 trở lên.
Phúc lợi
- Hình thức cộng tác tự do.
- Làm việc từ xa bán thời gian tại Ấn Độ.
- Khoảng 10–20 giờ mỗi tuần trong các giai đoạn dự án đang hoạt động.