Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Python-ingeniør innen dataskraping – frilans, fjernarbeid i India

Mindrift søker en senior Python-ingeniør som skal hente ut, validere og skalere arbeidsflyter for strukturerte webdata i Tendem AI-prosjektet. Rollen omfatter Python, skyinfrastruktur, Docker og LLM-baserte automatiseringsrammeverk.

Beskrivelse

  • Administrere komplette arbeidsflyter for datauthenting fra komplekse nettsteder
  • Levere strukturerte datasett med omfattende dekning, høy nøyaktighet og pålitelig levering
  • Bruke spesialiserte verktøy og tilpassede arbeidsflyter for å effektivisere innsamling, validering og oppgaveutførelse
  • Hente informasjon fra dynamiske og interaktive kilder, inkludert JavaScript-renderte sider
  • Tilpasse skrapingsmetoder når nettsteders atferd og sidestrukturer endres
  • Opprettholde datakvaliteten gjennom validering, sammenligning på tvers av kilder, formateringsstandarder og systematisk gjennomgang
  • Skalere skraping av store datamengder gjennom effektiv satsvis behandling og parallell prosessering
  • Spore feil og bidra til pålitelig og stabil skrapingsdrift
  • Bruke ekspertise innen Python, webskraping, datauthenting og databehandling i Tendem-prosjektet

Krav

  • Minst 5 års relevant erfaring innen data engineering, webskraping, automatisering eller programvareutvikling
  • En bachelor- eller mastergrad innen ingeniørfag, anvendt matematikk, informatikk eller et beslektet teknisk fagområde er en fordel
  • Sterkt praktisk grunnlag innen skripting, automatisering og arbeidsflyter for datauthenting
  • Avansert erfaring med Python-skraping ved bruk av BeautifulSoup, Selenium eller tilsvarende verktøy, dynamisk innhold og proxybaserte API-er
  • Evne til å hente ut informasjon fra komplekse strukturer, inkludert hierarkier, arkiverte sider og inkonsekvent HTML
  • Solid erfaring med datarensing, normalisering og validering
  • Praktisk erfaring med å håndtere antibot-beskyttelse og dynamiske nettstedstrukturer i stor skala
  • Erfaring med AWS eller tilsvarende skyinfrastruktur samt Docker-containerisering
  • Praktisk bruk av LangChain, OpenRouter eller lignende LLM-rammeverk for automatisering
  • En grundig tilnærming til datanøyaktighet og kvalitet
  • Evne til å arbeide selvstendig, feilsøke problemer og håndtere oppgaver proaktivt
  • Engelsk på øvre mellomnivå (B2) eller høyere
  • En GitHub-lenke er en fordel

Fordeler

  • Frilansoppdrag
  • Deltids fjernarbeid fra India
  • Omtrent 10–20 timer per uke i aktive prosjektfaser
  • Mulighet til å arbeide med teknologiprosjekter gjennom Mindrift-plattformen
  • Kompensasjon på opptil tilsvarende 30 USD per time, avhengig av erfaringsnivå og arbeidstempo

Relaterte jobber

Eventogy

Produktutvikler (frontend og fullstack)

Eventogy

Bygg Eventogys plattform for arrangementshåndtering med Next.js, React, TypeScript og Laravel, fra administrasjonsverktøy og deltakernettsteder til API-er. Utvikle AI-assisterte funksjoner for bedriftskunder i regulerte bransjer.

Åpne
Creative information Technology

Senior Java-utvikler, på arbeidsstedet i Virginia

Creative information Technology
11 – 50 Ansatte
B2BMaskinvareSikkerhet

Bygg skalerbare Java-mikrotjenester for CITI, en IT-tjenesteleverandør for offentlige og kommersielle kunder. Utvikle sikre applikasjoner for identitets-, legitimasjons- og tilgangsstyring.

Åpne