Mindrift
Mindrift
501 – 1.000 Karyawan
Kecerdasan buatanMarketplaceSaaS
Mindrift adalah pasar bakat kecerdasan buatan dan platform SaaS yang menghubungkan kontributor profesional serta pakar bidang dengan proyek pelatihan dan evaluasi AI dari perusahaan teknologi. Sebagai bagian dari Toloka, Mindrift bekerja sama dengan penulis, editor, spesialis QA, ilmuwan, dan pakar bidang lainnya untuk membantu menghasilkan data pelatihan, menilai keamanan dan kemampuan penalaran model, mengevaluasi kualitas media, serta menciptakan skenario dunia nyata guna meningkatkan kinerja dan keandalan AI. Mindrift merekrut dan memverifikasi kontributor melalui penilaian dan verifikasi identitas, kemudian menawarkan peluang proyek berbayar yang fleksibel dalam pekerjaan pelatihan dan evaluasi AI.

Insinyur Senior Python untuk Web Scraping — Jarak Jauh di Rumania

Insinyur Python senior yang bertanggung jawab membangun alur kerja web scraping dan pemrosesan data yang andal untuk proyek Tendem AI milik Mindrift. Peran ini berfokus pada ekstraksi, validasi, dan penskalaan dataset terstruktur dari situs web yang kompleks.

Deskripsi

  • Kelola seluruh alur kerja ekstraksi data di berbagai situs web yang kompleks dengan mempertahankan cakupan luas, akurasi, dan pengiriman dataset terstruktur yang andal.
  • Gunakan alat yang tersedia dan alur kerja yang disesuaikan untuk mempercepat pengumpulan, validasi, dan pelaksanaan tugas sesuai dengan persyaratan proyek.
  • Ekstrak data secara andal dari situs web dinamis dan interaktif dengan menyesuaikan diri terhadap konten yang dirender JavaScript dan perubahan perilaku situs.
  • Pertahankan standar kualitas data melalui validasi, pemeriksaan konsistensi lintas sumber, pengendalian format, dan verifikasi sistematis sebelum pengiriman.
  • Skalakan scraping dalam volume besar dengan batching yang efisien atau pemrosesan paralel, selidiki kegagalan, dan pertahankan stabilitas saat terjadi perubahan kecil pada struktur situs.
  • Terapkan keahlian dalam web scraping, ekstraksi data, dan pemrosesan data pada proyek Tendem.

Persyaratan

  • Pengalaman relevan minimal 5 tahun dalam rekayasa data, web scraping, otomasi, atau pengembangan perangkat lunak.
  • Pengalaman tingkat lanjut dalam scraping dengan Python menggunakan BeautifulSoup, Selenium, atau alat sebanding, termasuk JavaScript, AJAX, infinite scroll, dan API berbasis proxy.
  • Mampu mengekstrak informasi dari struktur kompleks seperti hierarki, halaman arsip, dan HTML yang tidak konsisten.
  • Pengalaman kuat dalam membersihkan, menormalisasi, dan memvalidasi data untuk keluaran terstruktur termasuk CSV, JSON, dan Google Sheets.
  • Pengalaman praktis dalam menangani perlindungan anti-bot dan perubahan struktur situs web dalam skala besar.
  • Pengalaman menggunakan AWS atau infrastruktur cloud yang setara serta containerisasi Docker dalam alur kerja produksi.
  • Pengalaman langsung menerapkan framework LLM seperti LangChain atau OpenRouter untuk tugas otomasi.
  • Perhatian yang sangat baik terhadap detail dan fokus yang konsisten pada akurasi data.
  • Mampu bekerja secara mandiri, memecahkan masalah, dan menyelesaikan tugas hingga tuntas.
  • Kemampuan bahasa Inggris tingkat menengah atas pada level B2 atau lebih tinggi.
  • Profil GitHub menjadi nilai tambah.

Tunjangan

  • Keterlibatan freelance.
  • Jadwal paruh waktu.
  • Kerja jarak jauh dari Rumania.
  • Sekitar 10–20 jam per minggu selama fase proyek aktif.
  • Kompensasi hingga setara $40 per jam.

Lowongan Terkait