AWISEE là một công ty tiếp thị kỹ thuật số và SEO tại châu Âu, tập trung vào xây dựng liên kết quốc tế, quan hệ công chúng kỹ thuật số, tiếp thị người có ảnh hưởng và KOL. Đội ngũ làm việc hoàn toàn từ xa cung cấp dịch vụ tiếp cận thủ công và xây dựng liên kết nhãn trắng cho doanh nghiệp và các công ty dịch vụ, tận dụng mạng lưới nhà xuất bản trải rộng khắp châu Âu, Mỹ Latinh, APAC, Bắc Mỹ và nhiều khu vực khác. Dịch vụ SEO được thiết kế theo nhu cầu của khách hàng trong các lĩnh vực như SaaS, thương mại điện tử, iGaming, tiền mã hóa và công nghệ tài chính.
Kỹ sư Hạ tầng Dữ liệu Cấp cao, Thu thập Dữ liệu Web
Xây dựng các cụm thu thập dữ liệu chống bot và quy trình nạp dữ liệu thông lượng cao cho phòng thí nghiệm dữ liệu mạng xã hội. Phát triển hệ thống lưu trữ và dữ liệu có khả năng mở rộng để hỗ trợ mô hình AI.
Mô tả
- Phát triển và duy trì công cụ nạp dữ liệu cho phòng thí nghiệm dữ liệu mạng xã hội.
- Xây dựng và vận hành các cụm thu thập dữ liệu ẩn danh với proxy dân cư, nhận dạng dấu vân tay TLS, hệ thống trình duyệt và luân phiên phiên truy cập.
- Tạo các quy trình thu thập dữ liệu bền bỉ, có khả năng mở rộng cho Instagram, TikTok, YouTube, X và các nguồn web khác.
- Thiết kế hàng đợi phân tán và công cụ quy trình làm việc để xử lý hàng triệu tác vụ thu thập dữ liệu bất đồng bộ mỗi ngày.
- Thiết kế kiến trúc lưu trữ dữ liệu có cấu trúc và phi cấu trúc phục vụ mô hình AI ở các bước tiếp theo.
- Thiết lập cảnh báo tự động về thay đổi giao diện và API của nền tảng, dấu hiệu chặn truy cập và lỗi proxy.
- Cung cấp hàng triệu bản ghi hồ sơ, bài đăng và video mỗi ngày, đồng thời duy trì khả năng hoạt động gần như liên tục.
Yêu cầu
- Có ít nhất bốn năm kinh nghiệm về thu thập dữ liệu web quy mô lớn, kỹ thuật dữ liệu hoặc kỹ thuật đảo ngược.
- Có kinh nghiệm chuyên sâu trong việc vượt qua các dịch vụ chống bot nâng cao như Cloudflare, Akamai và PerimeterX bằng cách giả lập TLS, tự động hóa trình duyệt và quản lý proxy.
- Thành thạo Python hoặc Go.
- Hiểu biết chuyên sâu về Playwright, Puppeteer, Scrapy hoặc Selenium.
- Có kinh nghiệm với hệ thống phân tán và hàng đợi tác vụ như Temporal, Ray, Kafka và Redis.
- Kỹ năng SQL vững.
- Có kinh nghiệm với hồ dữ liệu hoặc kho dữ liệu phân tích hiện đại.
- Ưu tiên: Có kinh nghiệm trích xuất nội dung video ngắn và siêu dữ liệu người dùng từ TikTok, Instagram và YouTube.
- Ưu tiên: Có kinh nghiệm gửi trực tiếp dữ liệu thu thập được đến cơ sở dữ liệu vector và hàng đợi xử lý AI theo thời gian thực.
Phúc lợi
- Hình thức làm việc từ xa.