Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Pythoningeniør innen dataskraping – fjernarbeid i Japan

Bygg pålitelige arbeidsflyter for nettskraping i Python til Mindrifts Tendem AI-prosjekt. Hent ut, valider og skaler strukturerte datasett fra komplekse, dynamiske nettsteder.

Beskrivelse

  • Lede datauttrekk fra start til slutt på komplekse nettsteder
  • Levere komplette, nøyaktige og pålitelige strukturerte datasett
  • Bruke tilgjengelige verktøy og tilpassede arbeidsflyter for å effektivisere innsamling, validering og oppgaveutførelse
  • Hente ut data fra dynamiske og interaktive kilder, inkludert JavaScript-renderte data
  • Tilpasse skrapemetoder når nettsteders atferd endrer seg
  • Opprettholde datakvaliteten gjennom validering, kontroller på tvers av kilder, formateringsstandarder og systematisk verifisering
  • Skalere skraping av store datamengder med effektiv batchbehandling eller parallell behandling
  • Overvåke feil og bevare stabiliteten gjennom mindre endringer i nettsteders struktur
  • Bruke Apify, OpenRouter og annen teknologi til nettbasert datauttrekk og -behandling

Krav

  • Minst 5 års relevant erfaring innen data engineering, nettskraping, automatisering eller programvareutvikling
  • Bachelor- eller mastergrad innen ingeniørfag, anvendt matematikk, informatikk eller et beslektet teknisk fagområde er en fordel
  • Solid erfaring med Python-skraping ved hjelp av BeautifulSoup, Selenium eller lignende verktøy, dynamisk innhold som JavaScript, AJAX og uendelig rulling samt API-er som nås via proxyer
  • Evne til å hente ut data fra komplekse strukturer, inkludert hierarkier, arkiverte sider og inkonsekvent HTML
  • Solid bakgrunn innen datarensing, normalisering og validering, samt erfaring med å levere datasett i CSV-, JSON- eller Google Sheets-format
  • Erfaring med å håndtere antibotmekanismer og dynamiske nettstedstrukturer i stor skala
  • Erfaring med AWS eller tilsvarende skyinfrastruktur
  • Erfaring med Docker for containerisering
  • Praktisk erfaring med LLM-rammeverk som LangChain, OpenRouter eller lignende verktøy for automatisering
  • Stor sans for detaljer og engasjement for datanøyaktighet
  • Selvstendig arbeidsform med evne til å feilsøke på egen hånd
  • Engelsk på øvre mellomnivå (B2) eller høyere
  • En GitHub-lenke er en fordel

Fordeler

  • Frilansmulighet
  • Deltidsarbeid anslått til omtrent 10–20 timer per uke i aktive perioder
  • Fjernarbeid
  • Mulighet til å bidra til innovative teknologi- og AI-utviklingsprosjekter

Relaterte jobber

ANGEHEUERT ⚓ | Recruiting as a Service & Employer Branding

Regionsalgsleder, bærekraftig nettverk av smarte pakkebokser

ANGEHEUERT ⚓ | Recruiting as a Service & Employer Branding

Bygg ut et bærekraftig nettverk av smarte pakkebokser gjennom B2B-partnerskap med dagligvarehandel, bensinstasjoner og boligaktører. Stillingen kombinerer regionalt feltsalg med kundeoppfølging fra første kontakt til kontrakt.

Åpne