Mindrift
Mindrift
501 – 1.000 Medarbejdere
Kunstig intelligensMarkedspladsSaaS
Mindrift er en talentmarkedsplads for kunstig intelligens og en SaaS-platform, der forbinder professionelle bidragydere og fageksperter med projekter inden for AI-træning og AI-evaluering fra teknologivirksomheder. Som en del af Toloka arbejder virksomheden med skribenter, redaktører, kvalitetssikringsspecialister, forskere og andre fageksperter, som hjælper med at generere træningsdata, vurdere modellers sikkerhed og ræsonnement, evaluere mediekvalitet og skabe virkelighedsnære scenarier for at forbedre AI-systemers ydeevne og pålidelighed. Mindrift rekrutterer og vurderer bidragydere gennem evalueringer og identitetsverificering og tilbyder derefter fleksible, betalte projektmuligheder inden for AI-træning og AI-evaluering.

Senior Python-ingeniør inden for webskrabning – fjernarbejde fra Brasilien

Senior Python-ingeniør med ansvar for pålidelig webskrabning, datavalidering og levering af strukturerede datasæt til Mindrifts AI-teknologiprojekter. Rollen omfatter dynamiske websteder, anti-bot-systemer, cloud-infrastruktur og LLM-baserede automatiseringsværktøjer.

Beskrivelse

  • Lede komplette arbejdsgange for dataudtræk fra komplekse websteder
  • Levere strukturerede datasæt med omfattende dækning, høj nøjagtighed og pålidelig levering
  • Bruge tilgængelige værktøjer og tilpassede arbejdsgange til at effektivisere dataindsamling, validering og opgaveudførelse
  • Udtrække oplysninger fra dynamiske og interaktive kilder, herunder JavaScript-renderede sider
  • Tilpasse skrabemetoder, når websteders adfærd ændrer sig
  • Opretholde datakvaliteten gennem validering, kontrol på tværs af kilder, formateringskrav og systematisk verificering
  • Opskalere webskrabning i store mængder gennem effektiv batchbehandling eller parallel behandling
  • Sporе fejl og bevare stabiliteten ved mindre ændringer i websteders struktur
  • Integrere værktøjer som Apify, OpenRouter og relaterede teknologier i arbejdsgange til skrabning og behandling

Krav

  • Mindst fem års relevant erfaring inden for data engineering, webskrabning, automatisering eller softwareudvikling
  • En bachelor- eller kandidatgrad inden for ingeniørvidenskab, anvendt matematik, datalogi eller en relateret teknisk disciplin er en fordel
  • Stærke tekniske grundfærdigheder med praktisk erfaring i scripting, automatisering og arbejdsgange for dataudtræk
  • Omfattende erfaring med Python-skrabning ved hjælp af BeautifulSoup, Selenium eller sammenlignelige værktøjer, dynamisk indhold og proxybaserede API'er
  • Evne til at udtrække oplysninger fra komplekse strukturer, herunder hierarkier, arkiverede sider og uensartet HTML
  • Solid erfaring med datarensning, normalisering og validering
  • Dokumenteret evne til at håndtere anti-bot-systemer og dynamiske webstedsstrukturer i stor skala
  • Erfaring med AWS eller sammenlignelig cloud-infrastruktur samt Docker-containerisering
  • Praktisk erfaring med at anvende LangChain, OpenRouter eller lignende LLM-frameworks til automatiseringsopgaver
  • Stor sans for detaljer og stærkt fokus på datanøjagtighed
  • Selvstændig tilgang med evne til at fejlfinde uafhængigt
  • Engelsk på øvre mellemniveau (B2) eller højere
  • Et link til en GitHub-profil er en fordel

Fordele

  • Freelancearbejde
  • Deltidsarbejde på afstand
  • Cirka 10–20 timer om ugen i aktive projektfaser
  • Kompensation på op til det, der svarer til 25 USD i timen, afhængigt af erfaringsniveau og arbejdshastighed
  • Mulighed for at bidrage til innovative teknologi- og AI-udviklingsprojekter

Relaterede job