Mindrift
Mindrift
501 – 1.000 Medarbejdere
Kunstig intelligensMarkedspladsSaaS
Mindrift er en talentmarkedsplads for kunstig intelligens og en SaaS-platform, der forbinder professionelle bidragydere og fageksperter med projekter inden for AI-træning og AI-evaluering fra teknologivirksomheder. Som en del af Toloka arbejder virksomheden med skribenter, redaktører, kvalitetssikringsspecialister, forskere og andre fageksperter, som hjælper med at generere træningsdata, vurdere modellers sikkerhed og ræsonnement, evaluere mediekvalitet og skabe virkelighedsnære scenarier for at forbedre AI-systemers ydeevne og pålidelighed. Mindrift rekrutterer og vurderer bidragydere gennem evalueringer og identitetsverificering og tilbyder derefter fleksible, betalte projektmuligheder inden for AI-træning og AI-evaluering.

Senior Python-dataingeniør inden for web scraping i Mexico (fjernarbejde)

Byg og skaler pålidelige web scraping-workflows til Mindrifts AI-platform. Udtræk, valider og lever strukturerede data fra komplekse, dynamiske websites.

Beskrivelse

  • Håndter ekstraktionsworkflows fra start til slut på komplekse websites, og lever komplette, korrekte og pålidelige strukturerede datasæt.
  • Brug tilgængelige værktøjer og tilpassede workflows til at effektivisere indsamling, validering og opgaveudførelse i henhold til definerede krav.
  • Udtræk data pålideligt fra dynamiske og interaktive kilder ved at tilpasse dig JavaScript-renderet indhold og ændret adfærd på websites.
  • Oprethold datakvaliteten gennem valideringskontroller, kontrol af konsistens på tværs af kilder, formateringskrav og systematisk verifikation før levering.
  • Skaler web scraping i store mængder gennem effektiv batchbehandling og parallel behandling.
  • Følg ekstraktionsfejl, og oprethold driftsstabiliteten, når websitestrukturer ændrer sig mindre.
  • Arbejd med Tendem Agents, der udfører gentagne opgaver i Mindrifts hybride arbejdsmodel med AI og mennesker.
  • Anvend værktøjer som Apify, OpenRouter og andre teknologier sammen med teknisk ekspertise og skræddersyede metoder.
  • Brug ekspertise inden for web scraping, dataekstraktion og databehandling til at skabe præcise, pålidelige resultater af høj kvalitet.

Krav

  • Der kræves mindst fem års relevant erfaring inden for data engineering, web scraping, automatisering eller softwareudvikling.
  • En bachelor- eller kandidatgrad i ingeniørvidenskab, anvendt matematik, datalogi eller et beslægtet teknisk område er en fordel.
  • Stærk erfaring med Python-baseret scraping ved hjælp af BeautifulSoup, Selenium eller tilsvarende værktøjer, herunder JavaScript, AJAX, uendelig scrolling og proxierede API'er.
  • Evne til at udtrække information fra komplekse strukturer som hierarkier, arkiverede sider og inkonsekvent HTML.
  • Praktisk erfaring med at rense, normalisere og validere data til struktureret levering i CSV, JSON eller Google Sheets.
  • Erfaring med at håndtere antibot-foranstaltninger og skiftende websitestrukturer i stor skala.
  • Praktisk erfaring med AWS eller tilsvarende cloudinfrastruktur samt Docker i produktionsworkflows.
  • Erfaring med at anvende LLM-frameworks som LangChain eller OpenRouter til automatiseringsopgaver.
  • Exceptionel sans for detaljer og et konsekvent fokus på datanøjagtighed.
  • Evne til at arbejde selvstændigt, undersøge problemer og fejlfinde effektivt.
  • Engelsk på øvre mellemniveau, B2 eller højere, er påkrævet.
  • Et link til en GitHub-profil er en fordel.

Fordele

  • Freelanceopgave.
  • Deltidsarbejde på afstand.
  • Anslået 10–20 timer om ugen i aktive projektfaser.

Relaterede job

Terumo Medical Corporation

Territoriechef, interventionelle systemer — Philadelphia

Terumo Medical Corporation

Lede salget af Terumo Interventional Systems-produkter til hospitaler og ambulante behandlingssteder i Philadelphiaområdet. Udvikle kundekonti, støtte indgreb, undervise klinikere og nå distriktets salgsmål.

Åbn