Mindrift
Mindrift
501 – 1.000 Karyawan
Kecerdasan buatanMarketplaceSaaS
Mindrift adalah pasar bakat kecerdasan buatan dan platform SaaS yang menghubungkan kontributor profesional serta pakar bidang dengan proyek pelatihan dan evaluasi AI dari perusahaan teknologi. Sebagai bagian dari Toloka, Mindrift bekerja sama dengan penulis, editor, spesialis QA, ilmuwan, dan pakar bidang lainnya untuk membantu menghasilkan data pelatihan, menilai keamanan dan kemampuan penalaran model, mengevaluasi kualitas media, serta menciptakan skenario dunia nyata guna meningkatkan kinerja dan keandalan AI. Mindrift merekrut dan memverifikasi kontributor melalui penilaian dan verifikasi identitas, kemudian menawarkan peluang proyek berbayar yang fleksibel dalam pekerjaan pelatihan dan evaluasi AI.

Insinyur Senior Scraping Data Python di Italia (Jarak Jauh)

Bergabunglah dalam proyek Tendem AI milik Mindrift untuk membangun pipeline scraping web dan data terstruktur yang andal. Peran ini berfokus pada situs web dinamis, validasi data, ekstraksi berskala, dan otomatisasi.

Deskripsi

  • Memimpin seluruh proses ekstraksi di berbagai situs web kompleks, dengan menghasilkan kumpulan data terstruktur yang komprehensif, akurat, dan andal
  • Menggunakan platform yang tersedia dan alur kerja yang disesuaikan untuk mempercepat pengumpulan, validasi, dan penyelesaian tugas sesuai spesifikasi yang ditetapkan
  • Menyesuaikan metode ekstraksi untuk halaman yang dirender dengan JavaScript, sumber interaktif, dan perilaku situs web yang terus berubah
  • Menjaga kualitas data melalui validasi, pemeriksaan lintas sumber, pengendalian format, dan peninjauan terstruktur sebelum pengiriman
  • Meningkatkan kapasitas scraping untuk kumpulan data besar melalui pemrosesan batch yang efisien dan pemrosesan paralel
  • Melacak kegagalan ekstraksi dan menjaga keandalan operasional saat struktur situs berubah
  • Menerapkan keahlian scraping web, ekstraksi, dan pemrosesan pada proyek Tendem
  • Menggabungkan pertimbangan teknis dengan Apify, OpenRouter, dan alat lainnya untuk mengembangkan solusi khusus yang efektif

Persyaratan

  • Diperlukan pengalaman relevan minimal 5 tahun dalam rekayasa data, scraping web, otomatisasi, atau pengembangan perangkat lunak
  • Gelar sarjana atau magister di bidang teknik, matematika terapan, ilmu komputer, atau disiplin teknis terkait menjadi nilai tambah
  • Pengalaman tingkat lanjut dalam scraping Python menggunakan BeautifulSoup, Selenium atau alat sebanding, konten dinamis, dan API yang menggunakan proxy
  • Mampu mengambil data dari sumber kompleks seperti hierarki, halaman arsip, dan HTML yang tidak konsisten
  • Berpengalaman membersihkan, menormalisasi, dan memvalidasi data untuk dikirim dalam format CSV, JSON, atau Google Sheets
  • Pengalaman praktis menangani perlindungan anti-bot dan struktur situs web yang berubah-ubah dalam skala besar
  • Memahami AWS atau infrastruktur cloud sebanding serta containerisasi berbasis Docker
  • Berpengalaman langsung menggunakan LangChain, OpenRouter, atau kerangka kerja LLM serupa untuk otomatisasi
  • Memiliki perhatian luar biasa terhadap detail dan fokus kuat pada akurasi data
  • Mampu bekerja mandiri, menyelidiki masalah, dan menyelesaikan kendala tanpa pengawasan ketat
  • Kemampuan bahasa Inggris tingkat menengah atas (B2) atau lebih tinggi diperlukan
  • Tautan profil GitHub menjadi nilai tambah

Tunjangan

  • Keterlibatan freelance
  • Pengaturan kerja jarak jauh paruh waktu
  • Beban kerja yang diharapkan 10–20 jam per minggu selama periode proyek aktif

Lowongan Terkait