Mindrift
Mindrift
Mindrift är en marknadsplats för talanger inom artificiell intelligens och en SaaS-plattform som kopplar samman professionella medverkande och ämnesexperter med projekt inom AI-träning och AI-utvärdering från teknikföretag. Som en del av Toloka samarbetar företaget med skribenter, redaktörer, kvalitetssäkringsspecialister, forskare och andra ämnesexperter som hjälper till att skapa träningsdata, bedöma modellsäkerhet och resonemang, utvärdera mediekvalitet samt skapa verklighetsbaserade scenarier för att förbättra AI-systemens prestanda och tillförlitlighet. Mindrift rekryterar och granskar medverkande genom bedömningar och identitetsverifiering och erbjuder därefter flexibla, betalda projekt inom AI-träning och AI-utvärdering.

Senior Python-webbskrapningsingenjör (frilans, distansarbete i Portugal)

Bygg tillförlitliga webbskrapnings- och databearbetningspipelines för Mindrifts Tendem AI-projekt. Extrahera, validera och skala strukturerade datamängder från komplexa och dynamiska webbplatser.

Beskrivning

  • Hantera extraktion från komplexa webbplatser från början till slut och leverera fullständiga, korrekta och tillförlitliga strukturerade datamängder
  • Använd verktyg och anpassade arbetsflöden för att effektivisera datainsamling, validering och slutförande av uppgifter
  • Samla in data från dynamiska och interaktiva källor genom att anpassa dig till JavaScript-renderat innehåll och förändrat webbplatsbeteende
  • Upprätthåll datakvaliteten genom valideringskontroller, jämförelser mellan källor, formateringskrav och systematisk granskning
  • Utöka skrapningsverksamheten för stora datamängder genom effektiv batchbearbetning eller parallell bearbetning
  • Följ upp extraktionsfel och bevara stabiliteten när webbplatser genomgår mindre strukturella förändringar
  • Använd expertis inom webbskrapning, dataextraktion och databearbetning i specialiserade arbetsflöden för Tendem-projektet

Krav

  • Ha minst fem års relevant erfarenhet av data engineering, webbskrapning, automatisering eller mjukvaruutveckling
  • Kunna uppvisa goda kunskaper i Python-baserad skrapning med BeautifulSoup, Selenium eller jämförbara verktyg, JavaScript- och AJAX-innehåll, oändlig rullning, API:er och proxyservrar
  • Kunna extrahera information från komplexa hierarkier, arkiverade sidor och inkonsekvent HTML
  • Ha en stabil grund inom datarensning, normalisering och validering samt erfarenhet av att skapa strukturerade dataset i CSV, JSON och Google Sheets
  • Ha erfarenhet av att hantera antibot-skydd och föränderliga webbplatsstrukturer i stor skala
  • Ha erfarenhet av AWS eller jämförbar molninfrastruktur samt Docker-baserad containerisering
  • Ha praktisk erfarenhet av att använda LLM-ramverk som LangChain, OpenRouter eller liknande verktyg i automatiseringsuppgifter
  • Arbeta noggrant och konsekvent med starkt fokus på datakorrekthet
  • Arbeta självständigt, ta ansvar för felsökning och ha ett självgående arbetssätt
  • Ha engelskkunskaper på nivån övre medel (B2) eller högre
  • En kandidat- eller masterexamen i ingenjörsvetenskap, tillämpad matematik, datavetenskap eller ett närliggande tekniskt område är meriterande
  • En länk till en GitHub-profil är meriterande

Förmåner

  • Frilansuppdrag
  • Deltidsarbete uppskattat till 10–20 timmar per vecka under aktiva projektfaser
  • Distansarbete
  • Möjlighet att arbeta med innovativa teknikprojekt via Mindrift-plattformen

Relaterade jobb

Maxibook OÜ

Bidragsgivare inom vetenskapligt språk och AI-anpassning

Maxibook OÜ

Hjälp AI-utbildningsstartupen Maxibook att anpassa engelskt vetenskapligt innehåll för koreansk-, japansk- eller arabiskspråkiga målgrupper. Bedöm AI-genererat material utifrån begreppslig korrekthet, naturligt språk och akademisk trovärdighet.

Öppna