Mindrift
Mindrift
Mindrift este o piață de talente în domeniul inteligenței artificiale și o platformă software ca serviciu care conectează colaboratori profesioniști și experți în diverse domenii cu proiecte de instruire și evaluare a inteligenței artificiale derulate de companii de tehnologie. Ca parte a Toloka, colaborează cu scriitori, editori, specialiști în asigurarea calității, oameni de știință și alți experți în domeniu, care contribuie la generarea datelor de instruire, evaluarea siguranței și capacității de raționament ale modelelor, evaluarea calității conținutului media și crearea unor scenarii din lumea reală pentru îmbunătățirea performanței și fiabilității inteligenței artificiale. Mindrift recrutează și verifică colaboratorii prin evaluări și verificarea identității, apoi oferă oportunități flexibile și plătite de participare la proiecte de instruire și evaluare a inteligenței artificiale.

Inginer senior de web scraping cu Python — Serbia, la distanță, part-time

Inginer senior Python responsabil de construirea unor fluxuri fiabile de web scraping și procesare a datelor pentru proiectul Tendem AI al Mindrift. Rolul se concentrează pe extragerea, validarea și scalarea seturilor de date structurate din site-uri complexe și dinamice.

Descriere

  • Gestionarea fluxurilor de extragere de la un capăt la altul pentru site-uri complexe, cu livrarea unor seturi de date structurate complete, exacte și fiabile.
  • Utilizarea instrumentelor disponibile și a fluxurilor de lucru adaptate pentru a accelera colectarea, validarea și finalizarea sarcinilor conform cerințelor definite.
  • Extragerea fiabilă a datelor din surse dinamice și interactive, cu adaptare la conținutul generat prin JavaScript și la schimbarea comportamentului site-urilor.
  • Menținerea calității datelor prin verificări de validare, comparații între surse, controale de formatare și verificare sistematică înainte de livrare.
  • Scalarea scrapingului de volume mari prin procesare eficientă pe loturi sau paralelă, monitorizarea erorilor și menținerea stabilității în cazul unor modificări minore ale site-urilor.
  • Aplicarea expertizei în web scraping, extragerea și procesarea datelor în cadrul proiectului Tendem.
  • Lucrul cu Apify, OpenRouter și alte tehnologii relevante.

Cerințe

  • Cel puțin cinci ani de experiență relevantă în ingineria datelor, web scraping, automatizare sau dezvoltare software.
  • O diplomă de licență sau master în inginerie, matematică aplicată, informatică sau un domeniu tehnic conex reprezintă un avantaj.
  • Experiență solidă în web scraping cu Python, folosind BeautifulSoup, Selenium sau instrumente similare, inclusiv JavaScript, AJAX, derulare infinită și acces la API prin proxy.
  • Capacitatea de a extrage informații din structuri complexe, precum ierarhii, pagini arhivate și HTML inconsistent.
  • Experiență consistentă în curățarea, normalizarea și validarea datelor pentru livrare în formate structurate, inclusiv CSV, JSON și Google Sheets.
  • Experiență practică în gestionarea protecțiilor anti-bot și a structurilor de site schimbătoare la scară largă.
  • Experiență în utilizarea AWS sau a unei infrastructuri cloud echivalente și a Docker în producție sau în fluxuri de lucru ale proiectelor.
  • Experiență practică în aplicarea cadrelor LLM, precum LangChain, OpenRouter sau instrumente similare, pentru sarcini de automatizare.
  • Atenție deosebită la detalii și un angajament puternic față de acuratețea datelor.
  • Abordare autonomă și capacitatea de a depana problemele independent.
  • Este necesară cunoașterea limbii engleze la nivel upper-intermediate, B2 sau mai avansat.
  • Un profil GitHub reprezintă un avantaj.

Beneficii

  • Colaborare ca freelancer.
  • Muncă la distanță, part-time.
  • Se estimează 10–20 de ore pe săptămână în fazele active ale proiectului.

Locuri de muncă similare

Eventogy

Product Engineer (Frontend and Full Stack)

Eventogy

Build Eventogy’s event management platform across Next.js, React, TypeScript and Laravel, from admin tools and attendee sites to APIs. Develop AI-assisted features for enterprise clients in regulated industries.

Deschide
Creative information Technology

Senior Java Developer, Onsite in Virginia

Creative information Technology
11 – 50 Angajați
B2BHardwareSecuritate

Build scalable Java microservices for CITI, an IT services provider serving government and commercial clients. Develop secure applications for identity, credentials, and access management.

Deschide