Mindrift
Mindrift
Mindrift är en marknadsplats för talanger inom artificiell intelligens och en SaaS-plattform som kopplar samman professionella medverkande och ämnesexperter med projekt inom AI-träning och AI-utvärdering från teknikföretag. Som en del av Toloka samarbetar företaget med skribenter, redaktörer, kvalitetssäkringsspecialister, forskare och andra ämnesexperter som hjälper till att skapa träningsdata, bedöma modellsäkerhet och resonemang, utvärdera mediekvalitet samt skapa verklighetsbaserade scenarier för att förbättra AI-systemens prestanda och tillförlitlighet. Mindrift rekryterar och granskar medverkande genom bedömningar och identitetsverifiering och erbjuder därefter flexibla, betalda projekt inom AI-träning och AI-utvärdering.

Senior Pythoningenjör inom dataskrapning – distansarbete i Japan

Bygg tillförlitliga arbetsflöden för webskrapning i Python för Mindrifts Tendem AI-projekt. Extrahera, validera och skala strukturerade datamängder från komplexa, dynamiska webbplatser.

Beskrivning

  • Leda datautvinning från början till slut på komplexa webbplatser
  • Leverera fullständiga, korrekta och tillförlitliga strukturerade datamängder
  • Använda tillgängliga verktyg och anpassade arbetsflöden för att effektivisera insamling, validering och uppgiftsutförande
  • Extrahera data från dynamiska och interaktiva källor, inklusive JavaScript-renderat innehåll
  • Anpassa skrapningsmetoder när webbplatsernas beteende förändras
  • Upprätthålla datakvaliteten genom validering, kontroller mellan källor, formateringsstandarder och systematisk verifiering
  • Skala skrapning av stora datamängder med effektiv batchbearbetning eller parallell bearbetning
  • Övervaka fel och bevara stabiliteten vid mindre förändringar i webbplatsers struktur
  • Använda Apify, OpenRouter och annan teknik för webbutvinning och databehandling

Krav

  • Minst 5 års relevant erfarenhet av data engineering, webskrapning, automatisering eller mjukvaruutveckling
  • En kandidat- eller masterexamen inom teknik, tillämpad matematik, datavetenskap eller ett närliggande tekniskt område är meriterande
  • Gedigen erfarenhet av skrapning i Python med BeautifulSoup, Selenium eller liknande verktyg, dynamiskt innehåll som JavaScript, AJAX och oändlig rullning samt API:er som nås via proxyservrar
  • Förmåga att extrahera data från komplexa strukturer, inklusive hierarkier, arkiverade sidor och inkonsekvent HTML
  • Gedigen bakgrund inom datarensning, normalisering och validering samt erfarenhet av att leverera datamängder i CSV-, JSON- eller Google Sheets-format
  • Erfarenhet av att hantera antibotmekanismer och dynamiska webbplatsstrukturer i stor skala
  • Erfarenhet av AWS eller motsvarande molninfrastruktur
  • Erfarenhet av Docker för containerisering
  • Praktisk erfarenhet av LLM-ramverk som LangChain, OpenRouter eller liknande verktyg för automatisering
  • Stor noggrannhet och engagemang för data med hög kvalitet
  • Självständigt arbetssätt med förmåga att felsöka på egen hand
  • Engelska på övre medelnivå (B2) eller högre
  • En GitHub-länk är meriterande

Förmåner

  • Frilansuppdrag
  • Deltidsarbete uppskattat till cirka 10–20 timmar per vecka under aktiva perioder
  • Distansarbete
  • Möjlighet att bidra till innovativa teknik- och AI-utvecklingsprojekt

Relaterade jobb

PMA Consultants

NetSuite-specialist inom projektekonomi

PMA Consultants

Hantera fakturering och ekonomiska projektuppgifter i NetSuite för PMA Consultants byggkonsultverksamhet, i samarbete med projektledare, ekonomi, drift och kunder. Följ upp budgetar, fakturor, utgifter och betalningsfrågor genom hela projektförloppet.

Öppna