Mindrift
Mindrift
Mindrift är en marknadsplats för talanger inom artificiell intelligens och en SaaS-plattform som kopplar samman professionella medverkande och ämnesexperter med projekt inom AI-träning och AI-utvärdering från teknikföretag. Som en del av Toloka samarbetar företaget med skribenter, redaktörer, kvalitetssäkringsspecialister, forskare och andra ämnesexperter som hjälper till att skapa träningsdata, bedöma modellsäkerhet och resonemang, utvärdera mediekvalitet samt skapa verklighetsbaserade scenarier för att förbättra AI-systemens prestanda och tillförlitlighet. Mindrift rekryterar och granskar medverkande genom bedömningar och identitetsverifiering och erbjuder därefter flexibla, betalda projekt inom AI-träning och AI-utvärdering.

Senior Python-ingenjör inom dataskrapning – frilans på distans

Bygg och drifta skalbara Python-baserade arbetsflöden för dataskrapning i Mindrifts AI-projekt. Extrahera, validera och bearbeta strukturerad data från komplexa, dynamiska webbplatser.

Beskrivning

  • Leda specialiserade arbetsflöden för dataskrapning inom Tendem-projektet och verkliga tillämpningar
  • Hantera extraktion från komplexa webbplatser från början till slut
  • Leverera fullständiga, korrekta och tillförlitliga strukturerade dataset
  • Använda tillgängliga verktyg och anpassade arbetsflöden för att effektivisera insamling, validering och uppgiftsutförande
  • Skrapa dynamiska och interaktiva källor genom att anpassa dig till JavaScript-renderat innehåll och förändrat webbplatsbeteende
  • Upprätthålla datakvaliteten genom validering, kontroller mellan källor, formateringsstandarder och systematisk granskning
  • Skala dataskrapning i stora volymer med effektiv batchbearbetning eller parallell bearbetning
  • Övervaka fel och bevara stabiliteten vid mindre förändringar i webbplatsstrukturen
  • Använda Apify, OpenRouter och relaterad teknik tillsammans med teknisk expertis och skräddarsydda lösningar

Krav

  • Minst fem års relevant erfarenhet av data engineering, web scraping, automatisering eller programvaruutveckling krävs
  • En kandidat- eller masterexamen i ingenjörsvetenskap, tillämpad matematik, datavetenskap eller ett närliggande tekniskt område är meriterande
  • Stark praktisk grund inom skriptning, automatisering och arbetsflöden för dataextraktion
  • Omfattande erfarenhet av Python-baserad dataskrapning med BeautifulSoup, Selenium eller jämförbara verktyg, JavaScript- och AJAX-innehåll, oändlig scrollning samt proxifierade API:er
  • Förmåga att extrahera information från komplexa strukturer som hierarkier, arkiverade sidor och inkonsekvent HTML
  • Erfarenhet av att rensa, normalisera och validera data för leverans i strukturerade CSV-, JSON- eller Google Sheets-format
  • Dokumenterad erfarenhet av att hantera antibotåtgärder och föränderliga webbplatsstrukturer i stor skala
  • Praktisk erfarenhet av AWS eller motsvarande molninfrastruktur samt Docker-baserad containerisering
  • Erfarenhet av att använda LangChain, OpenRouter eller liknande LLM-ramverk för automatiseringsuppgifter
  • Mycket god känsla för detaljer och starkt fokus på datanoggrannhet
  • Förmåga att arbeta självständigt och felsöka effektivt
  • En GitHub-profil är meriterande
  • Engelska på övre medelnivå, B2 eller högre, krävs

Förmåner

  • Frilansuppdrag
  • Deltidsarbete på distans
  • Cirka 10–20 timmar per vecka under aktiva projektperioder
  • Möjlighet att arbeta med innovativa teknikprojekt via Mindrift-plattformen

Relaterade jobb

Kreato Global | BPO and Language Solutions

Distansbaserad engelsk-spansk OPI/VRI-tolk

Kreato Global | BPO and Language Solutions

Tolka på distans mellan engelsktalande och spansktalande inom vård, ekonomi, socialtjänst och kundservice. Ge språkligt stöd åt Kreato Global i Latinamerika.

Öppna