Mindrift
Mindrift
Mindrift è un marketplace di talenti specializzati nell’intelligenza artificiale e una piattaforma SaaS che mette in contatto collaboratori professionisti ed esperti di settore con progetti di addestramento e valutazione dell’IA promossi da aziende tecnologiche. In quanto parte di Toloka, collabora con redattori, editor, specialisti del controllo qualità, scienziati e altri esperti che contribuiscono a generare dati di addestramento, valutare la sicurezza e il ragionamento dei modelli, esaminare la qualità dei contenuti multimediali e creare scenari reali per migliorare le prestazioni e l’affidabilità dell’IA. Mindrift seleziona e verifica i collaboratori attraverso valutazioni e verifica dell’identità, quindi offre opportunità flessibili di progetti retribuiti nell’ambito dell’addestramento e della valutazione dell’IA.

Senior Data Scraping Engineer Python — da remoto in Giappone

Sviluppa flussi affidabili di web scraping in Python per il progetto Tendem AI di Mindrift. Estrai, convalida e scala dataset strutturati da siti web complessi e dinamici.

Descrizione

  • Guidare l’estrazione dei dati end-to-end da siti web complessi
  • Fornire dataset strutturati completi, accurati e affidabili
  • Utilizzare gli strumenti disponibili e flussi di lavoro personalizzati per accelerare la raccolta, la convalida e l’esecuzione delle attività
  • Estrarre dati da fonti dinamiche e interattive, inclusi contenuti renderizzati con JavaScript
  • Adattare i metodi di scraping al variare del comportamento dei siti web
  • Mantenere la qualità dei dati tramite convalida, verifiche tra fonti, standard di formattazione e verifica sistematica
  • Scalare lo scraping di grandi volumi con un’elaborazione efficiente in batch o parallela
  • Monitorare gli errori e preservare la stabilità durante variazioni minori della struttura dei siti
  • Applicare Apify, OpenRouter e altre tecnologie all’estrazione e all’elaborazione web

Requisiti

  • Almeno 5 anni di esperienza pertinente in ingegneria dei dati, web scraping, automazione o sviluppo software
  • Laurea o master in Ingegneria, Matematica Applicata, Informatica o in un campo tecnico correlato costituisce un plus
  • Solida esperienza di scraping in Python con BeautifulSoup, Selenium o strumenti simili, contenuti dinamici come JavaScript, AJAX e scorrimento infinito, nonché API accessibili tramite proxy
  • Capacità di estrarre dati da strutture complesse, incluse gerarchie, pagine archiviate e HTML incoerente
  • Solida esperienza nella pulizia, normalizzazione e convalida dei dati, con esperienza nella fornitura di dataset in formato CSV, JSON o Google Sheets
  • Esperienza nella gestione di meccanismi antibot e strutture dinamiche dei siti su larga scala
  • Esperienza con AWS o infrastrutture cloud equivalenti
  • Esperienza nell’uso di Docker per la containerizzazione
  • Esperienza pratica con framework LLM come LangChain, OpenRouter o strumenti simili per l’automazione
  • Grande attenzione ai dettagli e impegno per l’accuratezza dei dati
  • Approccio autonomo, con capacità di risolvere i problemi in modo indipendente
  • Conoscenza dell’inglese a livello intermedio superiore (B2) o più avanzato
  • Un link a GitHub costituisce un plus

Benefit

  • Opportunità di lavoro freelance
  • Lavoro part-time stimato in circa 10–20 ore alla settimana durante le fasi attive
  • Lavoro da remoto
  • Opportunità di contribuire a progetti innovativi nei settori della tecnologia e dello sviluppo dell’intelligenza artificiale

Offerte correlate

Eventogy

Ingegnere di prodotto (frontend e full stack)

Eventogy
11 – 50 Dipendenti
ConsulenzaMarketingViaggi

Sviluppa la piattaforma di gestione degli eventi di Eventogy con Next.js, React, TypeScript e Laravel, dagli strumenti di amministrazione ai siti per i partecipanti e alle API. Crea funzionalità assistite dall’IA per clienti aziendali in settori regolamentati.

Apri
Creative information Technology

Senior Java Developer, in presenza in Virginia

Creative information Technology
11 – 50 Dipendenti
B2BHardwareSicurezza

Sviluppa microservizi Java scalabili per CITI, fornitore di servizi IT per clienti pubblici e commerciali. Crea applicazioni sicure per la gestione di identità, credenziali e accessi.

Apri
CrowdStrike

Ingegnere III, autenticazione e autorizzazione cloud

CrowdStrike

Sviluppa servizi di autenticazione e autorizzazione per la piattaforma globale di cybersecurity di CrowdStrike. Guida lo sviluppo di sistemi backend distribuiti con Go, AWS, Kafka e tecnologie correlate.

Apri
MAS Global Consulting

Ingegnere Python senior, in sede a Tampa

MAS Global Consulting

Guida la migrazione a Python 3.12, compresi gli aggiornamenti dell’ambiente di esecuzione e delle dipendenze e i test di compatibilità. Contribuisci ai progetti di ingegneria digitale di MAS Global Consulting per startup e aziende Fortune 100.

Apri