Mindrift
Mindrift
Mindrift è un marketplace di talenti specializzati nell’intelligenza artificiale e una piattaforma SaaS che mette in contatto collaboratori professionisti ed esperti di settore con progetti di addestramento e valutazione dell’IA promossi da aziende tecnologiche. In quanto parte di Toloka, collabora con redattori, editor, specialisti del controllo qualità, scienziati e altri esperti che contribuiscono a generare dati di addestramento, valutare la sicurezza e il ragionamento dei modelli, esaminare la qualità dei contenuti multimediali e creare scenari reali per migliorare le prestazioni e l’affidabilità dell’IA. Mindrift seleziona e verifica i collaboratori attraverso valutazioni e verifica dell’identità, quindi offre opportunità flessibili di progetti retribuiti nell’ambito dell’addestramento e della valutazione dell’IA.

Ingegnere senior di scraping dei dati con Python — Da remoto dall’India

Ingegnere senior Python responsabile della creazione di flussi di scraping affidabili per il progetto di IA Tendem di Mindrift. Il ruolo si concentra sull’estrazione, la convalida e la scalabilità di dati strutturati da siti web complessi e dinamici.

Descrizione

  • Gestire flussi completi di estrazione dei dati su siti web complessi, mantenendo un’ampia copertura, accuratezza e consegna affidabile di dataset strutturati.
  • Utilizzare gli strumenti disponibili e flussi di lavoro personalizzati per migliorare la raccolta e la convalida dei dati, nonché l’esecuzione delle attività, rispettando i requisiti definiti.
  • Estrarre dati in modo affidabile da fonti dinamiche e interattive, adattandosi ai contenuti generati da JavaScript e all’evoluzione del comportamento dei siti web.
  • Mantenere la qualità dei dati attraverso controlli di convalida, confronti tra fonti, controlli di formattazione e verifiche sistematiche prima della consegna.
  • Scalare lo scraping di grandi volumi tramite tecniche efficienti di elaborazione in batch e in parallelo.
  • Monitorare gli errori di estrazione e preservare la stabilità del flusso di lavoro quando si verificano piccole modifiche alla struttura dei siti web.
  • Applicare competenze di web scraping, estrazione e trattamento dei dati a casi d’uso reali all’interno del progetto Tendem.

Requisiti

  • Almeno 5 anni di esperienza rilevante nell’ingegneria dei dati, nel web scraping, nell’automazione o nello sviluppo software.
  • Solida esperienza di scraping in Python con BeautifulSoup, Selenium o strumenti comparabili, inclusi JavaScript, AJAX, scorrimento infinito e accesso alle API tramite proxy.
  • Capacità di estrarre informazioni da strutture complesse, come gerarchie, pagine archiviate e HTML incoerente.
  • Esperienza pratica nella pulizia, normalizzazione e convalida dei dati per la consegna nei formati CSV, JSON o Google Sheets.
  • Esperienza nella gestione delle misure antibot e dei cambiamenti nella struttura dei siti all’interno di flussi di scraping su larga scala.
  • Esperienza pratica con AWS o infrastrutture cloud comparabili e con la containerizzazione basata su Docker in flussi di produzione.
  • Esperienza nell’applicazione di framework LLM come LangChain, OpenRouter o strumenti simili a task di automazione.
  • Grande attenzione ai dettagli e costante attenzione all’accuratezza dei dati.
  • Capacità di lavorare in autonomia, analizzare i problemi e risolverli efficacemente.
  • Conoscenza dell’inglese a livello intermedio avanzato, B2 o superiore.

Benefit

  • Collaborazione freelance.
  • Lavoro da remoto part-time dall’India.
  • Circa 10–20 ore settimanali durante le fasi attive del progetto.

Offerte correlate

Angkas

Direttore dell’ingegneria

Angkas
51 – 200 Dipendenti
B2CMarketplaceTrasporti

Guida i team di ingegneria di Angkas responsabili delle app per passeggeri e autisti, delle piattaforme backend e degli strumenti operativi. Migliora l’affidabilità e la continuità delle consegne, accompagnando l’organizzazione verso un’ingegneria basata sull’IA.

Apri
NVIDIA

Senior manager dell’ingegneria software per sistemi rack-scale NVIDIA

NVIDIA

Guida il team di ingegneria NVIDIA che sviluppa software infrastrutturale rack-scale per sistemi di calcolo basati sull’IA. Coordina piani di controllo, orchestrazione del ciclo di vita, affidabilità e consegne tra team.

Apri