Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Python-ingeniør innen dataskraping (frilans, fjernarbeid i Saudi-Arabia)

Senior Python-ingeniør som utvikler skalerbare arbeidsflyter for dataskraping til Mindrifts Tendem AI-prosjekt. Rollen fokuserer på å hente ut, validere og strukturere komplekse webdata med Python og automatiseringsverktøy.

Beskrivelse

  • Lede spesialiserte arbeidsflyter for dataskraping i Mindrifts Tendem-prosjekt og dets anvendelser i den virkelige verden
  • Administrere ekstraksjonspipelines fra start til slutt på komplekse nettsteder
  • Produsere komplette, korrekte, pålitelige og velstrukturerte datasett
  • Bruke Apify, OpenRouter og tilpassede arbeidsflyter for å effektivisere innsamling, validering og oppgaveutførelse
  • Hente data fra dynamiske, interaktive kilder og tilpasse arbeidet til JavaScript-rendert innhold og endret nettstedsatferd
  • Sikre datakvaliteten gjennom valideringskontroller, sammenligninger på tvers av kilder, formateringskontroller og systematisk verifisering
  • Skalere skraping av store datamengder gjennom effektiv batchbehandling og parallell prosessering
  • Undersøke feil og opprettholde pipeline-stabilitet ved mindre endringer i nettsteders struktur
  • Løse komplekse utfordringer innen skripting, automatisering, ekstraksjon, datastrukturering og validering selvstendig

Krav

  • Minst 5 års relevant erfaring innen data engineering, webskraping, automatisering eller programvareutvikling
  • Engelsk på øvre mellomnivå (B2) eller høyere
  • Avansert erfaring med Python-basert skraping ved bruk av BeautifulSoup, Selenium eller tilsvarende verktøy, dynamisk JavaScript/AJAX-innhold, uendelig rulling og proxybaserte API-er
  • Evne til å hente ut informasjon fra komplekse hierarkier, arkiverte sider og inkonsekvent HTML
  • God kunnskap om datarensing, normalisering og validering
  • Praktisk erfaring med å håndtere antibot-beskyttelse og endrede nettstedsstrukturer i stor skala
  • Erfaring med AWS eller tilsvarende skyinfrastruktur
  • Erfaring med å pakke applikasjoner med Docker
  • Praktisk bruk av LangChain, OpenRouter eller lignende LLM-rammeverk for automatisering
  • Stor sans for detaljer og sterkt fokus på datanøyaktighet
  • Selvstendig arbeidsform og trygghet i å feilsøke på egen hånd
  • Bachelor- eller mastergrad i ingeniørfag, anvendt matematikk, informatikk eller en beslektet teknisk disiplin er en fordel
  • Lenke til en GitHub-profil er en fordel

Fordeler

  • Fleksibelt frilansarbeid på deltid
  • Forventet arbeidsmengde på 10–20 timer per uke i aktive prosjektperioder
  • Kompensasjon på opptil tilsvarende 37 dollar per time, basert på erfaringsnivå og arbeidstempo
  • Mulighet til å bidra til innovative prosjekter innen AI- og teknologiutvikling
  • Fullt fjernbasert arbeid

Relaterte jobber