Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Python-ingeniør innen datascraping (deltid, fjernarbeid i Georgia)

Mindrift søker en senior Python-ingeniør som skal bygge pålitelige scraping-arbeidsflyter for AI-teknologiprosjekter. Rollen fokuserer på å hente ut, validere og skalere strukturerte datasett fra komplekse og dynamiske nettsteder.

Beskrivelse

  • Håndtere datauttrekksarbeidsflyter fra start til slutt på komplekse nettsteder
  • Levere komplette, nøyaktige og pålitelige strukturerte datasett
  • Bruke tilgjengelige verktøy og tilpassede arbeidsflyter for å effektivisere datainnsamling, validering og oppgaveutførelse
  • Hente ut data fra dynamiske og interaktive nettkilder, inkludert JavaScript-renderte sider
  • Tilpasse scrapingmetoder når nettsteders atferd endres
  • Opprettholde datakvaliteten gjennom valideringskontroller, konsistenskontroller på tvers av kilder, formateringskrav og systematisk verifisering
  • Skalere scraping av store datasett med effektiv bunting eller parallell behandling
  • Overvåke feil og opprettholde stabiliteten ved mindre endringer i nettsteders struktur
  • Kombinere verktøy som Apify og OpenRouter med relevant teknisk ekspertise

Krav

  • Minst 5 års relevant erfaring med data engineering, web scraping, automatisering eller programvareutvikling
  • Bachelor- eller mastergrad innen ingeniørfag, anvendt matematikk, informatikk eller et beslektet teknisk fagområde er en fordel
  • Solid erfaring med Python-basert web scraping ved bruk av BeautifulSoup, Selenium eller tilsvarende verktøy, dynamisk innhold og API-er som nås via proxyer
  • Dokumentert evne til å hente ut informasjon fra komplekse strukturer, inkludert hierarkier, arkiverte sider og inkonsekvent HTML
  • Solid erfaring med å rense, normalisere og validere data for levering i CSV, JSON eller Google Sheets
  • Praktisk erfaring med å håndtere antibotmekanismer og dynamiske nettstedstrukturer i stor skala
  • Erfaring med AWS eller tilsvarende skyinfrastruktur og Docker-basert containerisering
  • Praktisk erfaring med å bruke LLM-rammeverk som LangChain eller OpenRouter i automatiseringsoppgaver
  • Svært god sans for detaljer og et sterkt fokus på datanøyaktighet
  • Evne til å arbeide selvstendig og feilsøke problemer uten tett oppfølging
  • Engelsk på øvre mellomnivå (B2) eller høyere
  • En lenke til en GitHub-profil er en fordel

Fordeler

  • Deltidsbasert frilansarbeid på avstand
  • Omtrent 10–20 timer per uke i aktive prosjektfaser
  • Arbeid med teknologi- og AI-utviklingsprosjekter

Relaterte jobber

Centorrino Technologies

Spesialist innen risikostyring – fjernarbeid, Australia

Centorrino Technologies

Implementer et risikostyringssystem for regulerte australske organisasjoner, og omsett styringsbehov til konfigurering, testing, rapportering og innføring. Samarbeid med interessenter gjennom hele implementeringen om risikodata, kontrolltiltak og rapportering til ledelsen.

Åpne