Mindrift
Mindrift
Mindrift är en marknadsplats för talanger inom artificiell intelligens och en SaaS-plattform som kopplar samman professionella medverkande och ämnesexperter med projekt inom AI-träning och AI-utvärdering från teknikföretag. Som en del av Toloka samarbetar företaget med skribenter, redaktörer, kvalitetssäkringsspecialister, forskare och andra ämnesexperter som hjälper till att skapa träningsdata, bedöma modellsäkerhet och resonemang, utvärdera mediekvalitet samt skapa verklighetsbaserade scenarier för att förbättra AI-systemens prestanda och tillförlitlighet. Mindrift rekryterar och granskar medverkande genom bedömningar och identitetsverifiering och erbjuder därefter flexibla, betalda projekt inom AI-träning och AI-utvärdering.

Senior Python-ingenjör inom webbskrapning – distansarbete från Brasilien

Senior Python-ingenjör med ansvar för tillförlitlig webbskrapning, datavalidering och leverans av strukturerade dataset för Mindrifts AI-teknikprojekt. Rollen omfattar dynamiska webbplatser, anti-botsystem, molninfrastruktur och LLM-baserade automationsverktyg.

Beskrivning

  • Leda kompletta arbetsflöden för datautvinning från komplexa webbplatser
  • Leverera strukturerade dataset med omfattande täckning, hög noggrannhet och tillförlitlig leveranstakt
  • Använda tillgängliga verktyg och skräddarsydda arbetsflöden för att effektivisera datainsamling, validering och uppgiftsutförande
  • Extrahera information från dynamiska och interaktiva källor, inklusive JavaScript-renderade sidor
  • Anpassa skrapningsmetoder när webbplatsernas beteende förändras
  • Upprätthålla datakvaliteten genom validering, kontroller mot flera källor, formateringskrav och systematisk verifiering
  • Skala webbskrapning i stora volymer genom effektiv batchbearbetning eller parallell bearbetning
  • Spåra fel och bevara stabiliteten vid mindre förändringar i webbplatsers struktur
  • Integrera verktyg som Apify, OpenRouter och relaterad teknik i arbetsflöden för skrapning och bearbetning

Krav

  • Minst fem års relevant erfarenhet av data engineering, webbskrapning, automatisering eller mjukvaruutveckling
  • En kandidat- eller masterexamen i ingenjörsvetenskap, tillämpad matematik, datavetenskap eller ett närliggande tekniskt område är meriterande
  • Starka tekniska grundkunskaper med praktisk erfarenhet av skriptning, automatisering och arbetsflöden för datautvinning
  • Omfattande erfarenhet av Python-baserad skrapning med BeautifulSoup, Selenium eller jämförbara verktyg, dynamiskt innehåll och proxybaserade API:er
  • Förmåga att extrahera information från komplexa strukturer, inklusive hierarkier, arkiverade sidor och inkonsekvent HTML
  • Gedigen erfarenhet av datarensning, normalisering och validering
  • Dokumenterad förmåga att hantera anti-botsystem och dynamiska webbplatsstrukturer i stor skala
  • Erfarenhet av AWS eller jämförbar molninfrastruktur samt Docker-containerisering
  • Praktisk erfarenhet av att tillämpa LangChain, OpenRouter eller liknande LLM-ramverk på automatiseringsuppgifter
  • Stor noggrannhet och starkt engagemang för datakvalitet
  • Självständigt arbetssätt med förmåga att felsöka på egen hand
  • Engelska på övre mellannivå (B2) eller högre
  • En länk till en GitHub-profil är meriterande

Förmåner

  • Frilansuppdrag
  • Deltidsarbete på distans
  • Cirka 10–20 timmar per vecka under aktiva projektfaser
  • Ersättning på upp till motsvarande 25 USD per timme, beroende på erfarenhetsnivå och arbetstakt
  • Möjlighet att bidra till innovativa teknik- och AI-utvecklingsprojekt

Relaterade jobb