Mindrift adalah pasar bakat kecerdasan buatan dan platform SaaS yang menghubungkan kontributor profesional serta pakar bidang dengan proyek pelatihan dan evaluasi AI dari perusahaan teknologi. Sebagai bagian dari Toloka, Mindrift bekerja sama dengan penulis, editor, spesialis QA, ilmuwan, dan pakar bidang lainnya untuk membantu menghasilkan data pelatihan, menilai keamanan dan kemampuan penalaran model, mengevaluasi kualitas media, serta menciptakan skenario dunia nyata guna meningkatkan kinerja dan keandalan AI. Mindrift merekrut dan memverifikasi kontributor melalui penilaian dan verifikasi identitas, kemudian menawarkan peluang proyek berbayar yang fleksibel dalam pekerjaan pelatihan dan evaluasi AI.
Insinyur Senior Python untuk Web Scraping — Serbia, Jarak Jauh, Paruh Waktu
Insinyur Python senior yang bertanggung jawab membangun alur kerja web scraping dan pemrosesan data yang andal untuk proyek Tendem AI milik Mindrift. Peran ini berfokus pada ekstraksi, validasi, dan penskalaan kumpulan data terstruktur dari situs web yang kompleks dan dinamis.
Deskripsi
- Kelola alur kerja ekstraksi dari awal hingga akhir di berbagai situs web kompleks, dengan menghasilkan kumpulan data terstruktur yang lengkap, akurat, dan andal.
- Gunakan alat yang tersedia dan alur kerja yang disesuaikan untuk mempercepat pengumpulan, validasi, dan penyelesaian tugas sesuai persyaratan yang ditetapkan.
- Ekstrak data secara andal dari sumber yang dinamis dan interaktif, dengan menyesuaikan diri terhadap konten yang dirender JavaScript dan perubahan perilaku situs.
- Jaga kualitas data melalui pemeriksaan validasi, perbandingan lintas sumber, kontrol format, dan verifikasi sistematis sebelum pengiriman.
- Skalakan scraping bervolume besar dengan batching atau pemrosesan paralel yang efisien, pantau kegagalan, dan pertahankan stabilitas saat terjadi perubahan kecil pada situs.
- Terapkan keahlian dalam web scraping, ekstraksi data, dan pemrosesan data pada proyek Tendem.
- Bekerja dengan Apify, OpenRouter, dan teknologi relevan lainnya.
Persyaratan
- Memiliki pengalaman relevan selama lima tahun atau lebih dalam rekayasa data, web scraping, otomasi, atau pengembangan perangkat lunak.
- Gelar Sarjana atau Magister di bidang Teknik, Matematika Terapan, Ilmu Komputer, atau disiplin teknis terkait menjadi nilai tambah.
- Pengalaman kuat dalam web scraping menggunakan Python dengan BeautifulSoup, Selenium, atau alat serupa, termasuk JavaScript, AJAX, infinite scroll, dan akses API berbasis proxy.
- Mampu mengekstrak informasi dari struktur kompleks seperti hierarki, halaman arsip, dan HTML yang tidak konsisten.
- Pengalaman solid dalam membersihkan, menormalkan, dan memvalidasi data untuk dikirim dalam format terstruktur, termasuk CSV, JSON, dan Google Sheets.
- Pengalaman praktis menangani perlindungan anti-bot dan perubahan struktur situs web dalam skala besar.
- Pengalaman menggunakan AWS atau infrastruktur cloud setara serta Docker dalam alur kerja produksi atau proyek.
- Pengalaman langsung menerapkan framework LLM seperti LangChain, OpenRouter, atau alat serupa untuk tugas otomasi.
- Memiliki perhatian tinggi terhadap detail dan komitmen kuat terhadap keakuratan data.
- Mampu bekerja secara mandiri dan memecahkan masalah tanpa bergantung pada orang lain.
- Kemampuan bahasa Inggris tingkat upper-intermediate pada level B2 atau lebih tinggi diperlukan.
- Memiliki profil GitHub menjadi nilai tambah.
Tunjangan
- Keterlibatan sebagai pekerja lepas.
- Pekerjaan jarak jauh paruh waktu.
- Perkiraan 10–20 jam per minggu selama fase proyek aktif.