Mindrift
Mindrift
Mindrift er en talentmarkedsplass for kunstig intelligens og en SaaS-plattform som kobler profesjonelle bidragsytere og fageksperter med prosjekter innen AI-trening og AI-evaluering fra teknologiselskaper. Som en del av Toloka samarbeider selskapet med skribenter, redaktører, kvalitetssikringsspesialister, forskere og andre fageksperter som bidrar til å generere treningsdata, vurdere modellsikkerhet og resonnering, evaluere mediekvalitet og skape virkelighetsnære scenarioer for å forbedre AI-systemers ytelse og pålitelighet. Mindrift rekrutterer og kvalitetssikrer bidragsytere gjennom vurderinger og identitetsverifisering, og tilbyr deretter fleksible, betalte prosjektmuligheter innen AI-trening og AI-evaluering.

Senior Python-dataingeniør innen web scraping i Mexico (fjernarbeid)

Bygg og skaler pålitelige arbeidsflyter for web scraping til Mindrifts AI-plattform. Trekk ut, valider og lever strukturerte data fra komplekse, dynamiske nettsteder.

Beskrivelse

  • Håndter arbeidsflyter for dataekstraksjon fra start til slutt på komplekse nettsteder, og lever komplette, korrekte og pålitelige strukturerte datasett.
  • Bruk tilgjengelige verktøy og tilpassede arbeidsflyter for å effektivisere innsamling, validering og oppgaveutførelse i henhold til definerte krav.
  • Trekk ut data pålitelig fra dynamiske og interaktive kilder ved å tilpasse deg JavaScript-gjengitt innhold og endret atferd på nettsteder.
  • Oppretthold datakvaliteten gjennom valideringskontroller, kontroll av samsvar på tvers av kilder, formateringskrav og systematisk verifisering før levering.
  • Skaler web scraping i store volumer gjennom effektiv satsvis behandling og parallell behandling.
  • Følg opp ekstraksjonsfeil og oppretthold driftsstabiliteten når nettstedsstrukturer endres noe.
  • Arbeid med Tendem Agents som utfører repetitive oppgaver i Mindrifts hybride arbeidsmodell med AI og mennesker.
  • Bruk verktøy som Apify, OpenRouter og andre teknologier sammen med teknisk ekspertise og tilpassede metoder.
  • Bruk ekspertise innen web scraping, dataekstraksjon og databehandling til å produsere nøyaktige, pålitelige resultater av høy kvalitet.

Krav

  • Minst fem års relevant erfaring innen data engineering, web scraping, automatisering eller programvareutvikling er påkrevd.
  • En bachelor- eller mastergrad i ingeniørfag, anvendt matematikk, informatikk eller et beslektet teknisk fagområde er en fordel.
  • Solid erfaring med Python-basert scraping ved hjelp av BeautifulSoup, Selenium eller tilsvarende verktøy, inkludert JavaScript, AJAX, uendelig scrolling og proxierte API-er.
  • Evne til å trekke ut informasjon fra komplekse strukturer som hierarkier, arkiverte sider og inkonsekvent HTML.
  • Praktisk erfaring med å rense, normalisere og validere data for strukturert levering i CSV, JSON eller Google Sheets.
  • Erfaring med å håndtere antibot-tiltak og skiftende nettstedsstrukturer i stor skala.
  • Praktisk erfaring med AWS eller tilsvarende skyinfrastruktur samt Docker i produksjonsarbeidsflyter.
  • Erfaring med å bruke LLM-rammeverk som LangChain eller OpenRouter til automatiseringsoppgaver.
  • Svært god sans for detaljer og et konsekvent fokus på datanøyaktighet.
  • Evne til å arbeide selvstendig, undersøke problemer og feilsøke effektivt.
  • Engelsk på øvre mellomnivå, B2 eller høyere, er påkrevd.
  • En lenke til en GitHub-profil er en fordel.

Fordeler

  • Frilansoppdrag.
  • Deltidsarbeid på avstand.
  • Anslagsvis 10–20 timer per uke i aktive prosjektfaser.

Relaterte jobber

Eventogy

Produktutvikler (frontend og fullstack)

Eventogy

Bygg Eventogys plattform for arrangementshåndtering med Next.js, React, TypeScript og Laravel, fra administrasjonsverktøy og deltakernettsteder til API-er. Utvikle AI-assisterte funksjoner for bedriftskunder i regulerte bransjer.

Åpne
Creative information Technology

Senior Java-utvikler, på arbeidsstedet i Virginia

Creative information Technology
11 – 50 Ansatte
B2BMaskinvareSikkerhet

Bygg skalerbare Java-mikrotjenester for CITI, en IT-tjenesteleverandør for offentlige og kommersielle kunder. Utvikle sikre applikasjoner for identitets-, legitimasjons- og tilgangsstyring.

Åpne