Mindrift
Mindrift
501 – 1000 Töötajad
SaaSTehisintellektTuruplats
Mindrift on tehisintellekti valdkonna talenditurg ja SaaS-platvorm, mis ühendab professionaalsed panustajad ja valdkonnaeksperdid tehnoloogiaettevõtete tehisintellekti treenimise ja hindamise projektidega. Toloka osana teeb see koostööd kirjutajate, toimetajate, kvaliteedikontrolli spetsialistide, teadlaste ja teiste ainevaldkonnaekspertidega, kes aitavad luua treeningandmeid, hinnata mudelite ohutust ja arutlusvõimet, hinnata meedia kvaliteeti ning luua tegeliku elu olukordi tehisintellekti jõudluse ja töökindluse parandamiseks. Mindrift värbab ja kontrollib panustajaid hindamiste ning isikusamasuse tuvastamise kaudu, seejärel pakub paindlikke tasustatud projektivõimalusi tehisintellekti treenimise ja hindamise valdkonnas.

Vanem Pythonil põhineva veebiandmete kogumise insener – vabakutseline kaugtöö

Arenda ja halda Mindrifti Tendem AI projekti jaoks täpseid ja skaleeritavaid veebiandmete kogumise töövooge. Kasuta Pythonit ja automatiseerimistööriistu keerukate veebiandmete eraldamiseks, valideerimiseks ja töötlemiseks.

Kirjeldus

  • Vastutad andmete eraldamise eest algusest lõpuni keerukatel veebisaitidel
  • Edastad põhjaliku katvuse, suure täpsuse ja usaldusväärse tähtajaga struktureeritud andmekogumeid
  • Kombineerid olemasolevaid tööriistu kohandatud töövoogudega, et kiirendada kogumist, valideerimist ja ülesannete lõpetamist
  • Kogud andmeid dünaamilistelt ja interaktiivsetelt veebisaitidelt, kohanedes JavaScriptiga renderdatud sisu ja saitide muutuva käitumisega
  • Kaitsed andmekogumite kvaliteeti valideerimisrutiinide, allikatevaheliste kontrollide, vormindusstandardite ja süstemaatilise ülevaatuse abil
  • Suurendad suurte andmekogumite kogumise võimekust tõhusa partiitöötluse või paralleelse täitmise abil
  • Jälgid eraldamisvigu ja säilitad stabiilsuse, kui saitide struktuuris toimuvad väiksemad muutused
  • Kasutad selliseid tööriistu nagu Apify ja OpenRouter koos tugeva tehnilise otsustusvõimega

Nõuded

  • Sul on vähemalt viis aastat asjakohast kogemust andmetehnika, veebiandmete kogumise, automatiseerimise või tarkvaraarenduse alal
  • Sul on tugevad Pythoni-põhise andmekogumise oskused ning kogemus BeautifulSoupiga, Seleniumiga või samaväärsete tööriistadega, JavaScripti ja AJAX-i sisuga, lõputu kerimise ning puhverserveripõhiste API-dega
  • Oskad hankida andmeid keerukatest allikatest, näiteks hierarhiatest, arhiveeritud lehtedelt ja ebaühtlasest HTML-ist
  • Oskad andmeid puhastada, normaliseerida ja valideerida struktureeritud edastamiseks CSV-, JSON- ja Google Sheetsi vormingus
  • Sul on praktiline kogemus robotikaitsete ja muutuvate veebisaidistruktuuridega tegelemisel suures mahus
  • Oled kasutanud AWS-i või võrreldavat pilvetaristut ning Dockerit konteineriseerimiseks pärisprojektides
  • Oled rakendanud automaatikatöös LLM-i raamistikke, näiteks LangChaini või OpenRouterit
  • Töötad hoolikalt ja keskendud tugevalt andmete täpsusele
  • Töötad iseseisvalt, oled algatuslik ja lahendad probleeme ilma tiheda juhendamiseta
  • Suhtled inglise keeles vähemalt kesktaseme ülemisel tasemel (B2)
  • Inseneriteaduse, rakendusmatemaatika, arvutiteaduse või seotud tehnilise valdkonna bakalaureuse- või magistrikraad tuleb kasuks
  • GitHubi profiili link tuleb kasuks

Hüved

  • Osalise koormusega vabakutseline kaugtöö
  • Aktiivsete projektifaaside ajal ligikaudu 10–20 tundi nädalas
  • Tasu kuni 25 dollarit tunnis samaväärses väärtuses, sõltuvalt kogemustasemest ja töö edenemise kiirusest

Seotud töökohad