Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Pythoningeniør innen dataskraping – fjernarbeid i India

Senior Pythoningeniør med ansvar for å bygge pålitelige arbeidsflyter for dataskraping til Mindrifts Tendem AI-prosjekt. Rollen fokuserer på å hente ut, validere og skalere strukturerte data fra komplekse og dynamiske nettsteder.

Beskrivelse

  • Administrere komplette arbeidsflyter for datauthenting på tvers av komplekse nettsteder, med bred dekning, høy nøyaktighet og pålitelig levering av strukturerte datasett.
  • Bruke tilgjengelige verktøy og tilpassede arbeidsflyter for å forbedre datainnsamling, validering og oppgaveutførelse i tråd med definerte krav.
  • Hente ut data pålitelig fra dynamiske og interaktive kilder ved å tilpasse seg JavaScript-gjengitt innhold og endret nettstedsatferd.
  • Opprettholde datakvaliteten gjennom valideringskontroller, sammenligninger på tvers av kilder, formateringskontroller og systematisk verifisering før levering.
  • Skalere dataskraping i stort volum gjennom effektiv batchbehandling og parallell behandling.
  • Følge opp feil i datauthentingen og bevare arbeidsflytens stabilitet når mindre endringer i nettstedets struktur oppstår.
  • Bruke ekspertise innen web scraping, datauthenting og databehandling på praktiske bruksområder i Tendem-prosjektet.

Krav

  • Minst 5 års relevant erfaring innen data engineering, web scraping, automatisering eller programvareutvikling.
  • Solid erfaring med Python-basert scraping ved bruk av BeautifulSoup, Selenium eller tilsvarende verktøy, inkludert JavaScript, AJAX, uendelig scrolling og proxybasert API-tilgang.
  • Evne til å hente ut informasjon fra komplekse strukturer som hierarkier, arkiverte sider og inkonsekvent HTML.
  • Praktisk erfaring med rensing, normalisering og validering av data for levering i CSV-, JSON- eller Google Sheets-format.
  • Erfaring med å håndtere antibot-tiltak og endrede nettstedsstrukturer i storskala arbeidsflyter for scraping.
  • Praktisk erfaring med AWS eller tilsvarende skyinfrastruktur samt Docker-basert containerisering i produksjonsarbeidsflyter.
  • Erfaring med å bruke LLM-rammeverk som LangChain, OpenRouter eller lignende verktøy i automatiseringsoppgaver.
  • Svært god sans for detaljer og et konsekvent fokus på datanøyaktighet.
  • Evne til å arbeide selvstendig, undersøke problemer og feilsøke effektivt.
  • Engelsk på øvre mellomnivå, B2 eller høyere.

Fordeler

  • Frilansoppdrag.
  • Deltidsarbeid på avstand fra India.
  • Omtrent 10–20 timer per uke i aktive prosjektfaser.

Relaterte jobber

Naseej

IT- og cybersikkerhetsrevisor

Naseej
501 – 1 000 Ansatte
ForetakKunstig intelligensSaaS

Gjennomfør cybersikkerhets- og IT-revisjoner for Naseej, et teknologiselskap innen digital transformasjon, blant annet gjennomgang av etterlevelse av krav fra National Cybersecurity Authority og katastrofegjenoppretting. Test kontroller, dokumenter bevis, og vurder gjenopprettingsplaner og prosedyrer.

Åpne