Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Python-ingeniør innen webskraping – fjernarbeid fra Brasil

Senior Python-ingeniør med ansvar for pålitelig webskraping, datavalidering og levering av strukturerte datasett til Mindrifts AI-teknologiprosjekter. Rollen omfatter dynamiske nettsteder, antibotsystemer, skyinfrastruktur og LLM-baserte automatiseringsverktøy.

Beskrivelse

  • Lede komplette arbeidsflyter for datauthenting fra komplekse nettsteder
  • Levere strukturerte datasett med omfattende dekning, høy nøyaktighet og pålitelig levering
  • Bruke tilgjengelige verktøy og tilpassede arbeidsflyter for å effektivisere datainnsamling, validering og oppgaveutførelse
  • Hente ut informasjon fra dynamiske og interaktive kilder, inkludert JavaScript-renderte sider
  • Tilpasse skrapemetoder når nettsteders atferd endres
  • Opprettholde datakvaliteten gjennom validering, kontroller på tvers av kilder, formateringskrav og systematisk verifisering
  • Skalere webskraping i store volumer gjennom effektiv batchbehandling eller parallell behandling
  • Følge opp feil og bevare stabiliteten ved mindre endringer i nettsteders struktur
  • Integrere verktøy som Apify, OpenRouter og relaterte teknologier i arbeidsflyter for skraping og behandling

Krav

  • Minst fem års relevant erfaring innen data engineering, webskraping, automatisering eller programvareutvikling
  • En bachelor- eller mastergrad innen ingeniørfag, anvendt matematikk, informatikk eller en beslektet teknisk disiplin er en fordel
  • Sterkt teknisk grunnlag med praktisk erfaring innen skripting, automatisering og arbeidsflyter for datauthenting
  • Omfattende erfaring med Python-skraping ved bruk av BeautifulSoup, Selenium eller tilsvarende verktøy, dynamisk innhold og proxybaserte API-er
  • Evne til å hente ut informasjon fra komplekse strukturer, inkludert hierarkier, arkiverte sider og uensartet HTML
  • Solid erfaring med datarensing, normalisering og validering
  • Dokumentert evne til å håndtere antibotsystemer og dynamiske nettstedstrukturer i stor skala
  • Erfaring med AWS eller tilsvarende skyinfrastruktur og Docker-containerisering
  • Praktisk erfaring med å bruke LangChain, OpenRouter eller lignende LLM-rammeverk til automatiseringsoppgaver
  • Stor sans for detaljer og sterkt fokus på datanøyaktighet
  • Selvstendig arbeidsform med evne til å feilsøke på egen hånd
  • Engelsk på øvre mellomnivå (B2) eller høyere
  • En lenke til en GitHub-profil er en fordel

Fordeler

  • Frilansoppdrag
  • Deltidsarbeid på avstand
  • Omtrent 10–20 timer per uke i aktive prosjektfaser
  • Kompensasjon på opptil tilsvarende 25 USD per time, avhengig av erfaringsnivå og arbeidstempo
  • Mulighet til å bidra til innovative teknologi- og AI-utviklingsprosjekter

Relaterte jobber

Maxibook OÜ

Bidragsyter innen vitenskapelig språk og AI-tilpasning

Maxibook OÜ

Hjelp AI-utdanningsoppstartsbedriften Maxibook med å tilpasse engelskspråklig vitenskapelig innhold for koreansk-, japansk- eller arabisktalende målgrupper. Vurder AI-generert materiale med tanke på faglig presisjon, naturlig språk og akademisk troverdighet.

Åpne