Mindrift
Mindrift
501 – 1.000 Medarbejdere
Kunstig intelligensMarkedspladsSaaS
Mindrift er en talentmarkedsplads for kunstig intelligens og en SaaS-platform, der forbinder professionelle bidragydere og fageksperter med projekter inden for AI-træning og AI-evaluering fra teknologivirksomheder. Som en del af Toloka arbejder virksomheden med skribenter, redaktører, kvalitetssikringsspecialister, forskere og andre fageksperter, som hjælper med at generere træningsdata, vurdere modellers sikkerhed og ræsonnement, evaluere mediekvalitet og skabe virkelighedsnære scenarier for at forbedre AI-systemers ydeevne og pålidelighed. Mindrift rekrutterer og vurderer bidragydere gennem evalueringer og identitetsverificering og tilbyder derefter fleksible, betalte projektmuligheder inden for AI-træning og AI-evaluering.

Senior Pythoningeniør inden for datascraping – fjernarbejde i Japan

Byg pålidelige Python-arbejdsgange til webscraping til Mindrifts Tendem AI-projekt. Udtræk, valider og skaler strukturerede datasæt fra komplekse, dynamiske websteder.

Beskrivelse

  • Lede dataudtræk fra start til slut på komplekse websteder
  • Levere komplette, nøjagtige og pålidelige strukturerede datasæt
  • Bruge tilgængelige værktøjer og tilpassede arbejdsgange til at fremskynde indsamling, validering og opgaveudførelse
  • Udtrække data fra dynamiske og interaktive kilder, herunder JavaScript-renderet indhold
  • Tilpasse scrapingmetoder, når websteders adfærd ændrer sig
  • Opretholde datakvaliteten gennem validering, kontroller på tværs af kilder, formateringsstandarder og systematisk verifikation
  • Skalere scraping af store datamængder med effektiv batchbehandling eller parallel behandling
  • Overvåge fejl og bevare stabiliteten gennem mindre ændringer i websteders struktur
  • Anvende Apify, OpenRouter og andre teknologier til webudtræk og databehandling

Krav

  • Mindst 5 års relevant erfaring inden for data engineering, webscraping, automatisering eller softwareudvikling
  • En bachelor- eller kandidatgrad inden for ingeniørvidenskab, anvendt matematik, datalogi eller et beslægtet teknisk område er en fordel
  • Stærk erfaring med Python-scraping ved hjælp af BeautifulSoup, Selenium eller lignende værktøjer, dynamisk indhold som JavaScript, AJAX og uendelig scrolling samt API'er tilgået via proxyer
  • Evne til at udtrække data fra komplekse strukturer, herunder hierarkier, arkiverede sider og inkonsekvent HTML
  • Stærk baggrund inden for datarensning, normalisering og validering samt erfaring med at levere datasæt i CSV-, JSON- eller Google Sheets-format
  • Erfaring med at håndtere antibotmekanismer og dynamiske webstedsstrukturer i stor skala
  • Erfaring med AWS eller tilsvarende cloudinfrastruktur
  • Erfaring med Docker til containerisering
  • Praktisk erfaring med LLM-frameworks som LangChain, OpenRouter eller lignende værktøjer til automatisering
  • Stor sans for detaljer og engagement i datanøjagtighed
  • Selvstændig tilgang med evne til at fejlfinde på egen hånd
  • Engelsk på øvre mellemniveau (B2) eller højere
  • Et GitHub-link er en fordel

Fordele

  • Freelancemulighed
  • Deltidsarbejde anslået til cirka 10–20 timer om ugen i aktive perioder
  • Fjernarbejde
  • Mulighed for at bidrage til innovative teknologi- og AI-udviklingsprojekter

Relaterede job