Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Pythoningeniør innen dataskraping – fjernarbeid i Romania

Senior Pythoningeniør med ansvar for å bygge pålitelige arbeidsflyter for nettskraping og databehandling for Mindrifts Tendem AI-prosjekt. Rollen fokuserer på å hente ut, validere og skalere strukturerte datasett fra komplekse nettsteder.

Beskrivelse

  • Administrere komplette arbeidsflyter for datauthenting på tvers av komplekse nettsteder, med bred dekning, nøyaktighet og pålitelig levering av strukturerte datasett.
  • Bruke tilgjengelige verktøy og tilpassede arbeidsflyter for å effektivisere innsamling, validering og oppgaveutførelse i tråd med prosjektkravene.
  • Hente ut data pålitelig fra dynamiske og interaktive nettsteder ved å tilpasse seg JavaScript-generert innhold og endret nettstedatferd.
  • Opprettholde standarder for datakvalitet gjennom validering, konsistenskontroller på tvers av kilder, formateringskontroller og systematisk verifisering før levering.
  • Skalere nettskraping i store volumer med effektiv satsvis eller parallell behandling, undersøke feil og bevare stabiliteten ved mindre endringer i nettstedstrukturen.
  • Bruke ekspertise innen nettskraping, datauthenting og databehandling i Tendem-prosjektet.

Krav

  • Minst 5 års relevant erfaring innen data engineering, nettskraping, automatisering eller programvareutvikling.
  • Avansert erfaring med Python-basert skraping ved bruk av BeautifulSoup, Selenium eller tilsvarende verktøy, inkludert JavaScript, AJAX, uendelig rulling og proxybaserte API-er.
  • Evne til å hente ut informasjon fra komplekse strukturer som hierarkier, arkiverte sider og uensartet HTML.
  • Solid erfaring med å rense, normalisere og validere data for strukturerte formater, inkludert CSV, JSON og Google Sheets.
  • Praktisk erfaring med å håndtere antibot-beskyttelse og skiftende nettstedstrukturer i stor skala.
  • Erfaring med AWS eller tilsvarende skyinfrastruktur og Docker-containerisering i produksjonsarbeidsflyter.
  • Praktisk erfaring med å bruke LLM-rammeverk som LangChain eller OpenRouter til automatiseringsoppgaver.
  • Svært godt øye for detaljer og et konsekvent fokus på datanøyaktighet.
  • Evne til å arbeide selvstendig, feilsøke problemer og føre oppgaver frem til løsning.
  • Engelsk på øvre mellomnivå, tilsvarende B2 eller høyere.
  • En GitHub-profil er en fordel.

Fordeler

  • Frilansoppdrag.
  • Deltidsplan.
  • Fjernarbeid fra Romania.
  • Omtrent 10–20 timer per uke i aktive prosjektfaser.
  • Honorering tilsvarende opptil 40 USD per time.

Relaterte jobber

Eventogy

Produktutvikler (frontend og fullstack)

Eventogy

Bygg Eventogys plattform for arrangementshåndtering med Next.js, React, TypeScript og Laravel, fra administrasjonsverktøy og deltakernettsteder til API-er. Utvikle AI-assisterte funksjoner for bedriftskunder i regulerte bransjer.

Åpne
Creative information Technology

Senior Java-utvikler, på arbeidsstedet i Virginia

Creative information Technology
11 – 50 Ansatte
B2BMaskinvareSikkerhet

Bygg skalerbare Java-mikrotjenester for CITI, en IT-tjenesteleverandør for offentlige og kommersielle kunder. Utvikle sikre applikasjoner for identitets-, legitimasjons- og tilgangsstyring.

Åpne