Mindrift
Mindrift
501 – 1000 Töötajad
SaaSTehisintellektTuruplats
Mindrift on tehisintellekti valdkonna talenditurg ja SaaS-platvorm, mis ühendab professionaalsed panustajad ja valdkonnaeksperdid tehnoloogiaettevõtete tehisintellekti treenimise ja hindamise projektidega. Toloka osana teeb see koostööd kirjutajate, toimetajate, kvaliteedikontrolli spetsialistide, teadlaste ja teiste ainevaldkonnaekspertidega, kes aitavad luua treeningandmeid, hinnata mudelite ohutust ja arutlusvõimet, hinnata meedia kvaliteeti ning luua tegeliku elu olukordi tehisintellekti jõudluse ja töökindluse parandamiseks. Mindrift värbab ja kontrollib panustajaid hindamiste ning isikusamasuse tuvastamise kaudu, seejärel pakub paindlikke tasustatud projektivõimalusi tehisintellekti treenimise ja hindamise valdkonnas.

Vanem Python-andmekraapimise insener Itaalias (kaugtöö)

Liitu Mindrifti Tendem AI projektiga, et luua töökindlaid veebikraapimise ja struktureeritud andmete töövooge. Töö keskendub dünaamilistele veebisaitidele, andmete valideerimisele, skaleeritavale andmete kogumisele ja automatiseerimisele.

Kirjeldus

  • Juhi keerukatel veebisaitidel terviklikke andmekogumisprotsesse ning edasta põhjalikke, täpseid ja töökindlaid struktureeritud andmekogumeid
  • Kasuta olemasolevaid platvorme ja kohandatud töövooge, et kiirendada andmete kogumist, valideerimist ja ülesannete täitmist vastavalt määratletud nõuetele
  • Kohanda andmekogumismeetodeid JavaScriptiga renderdatud lehtede, interaktiivsete allikate ja muutliku veebisaidi käitumise jaoks
  • Säilita andmete kvaliteet valideerimise, allikatevaheliste kontrollide, vormingu kontrolli ja struktureeritud tarnieelse ülevaatuse abil
  • Suurenda suurte andmekogumite kraapimisvõimekust tõhusa partiitöötluse ja paralleeltöötluse abil
  • Jälgi andmekogumise tõrkeid ja säilita töökindlus veebisaitide struktuuride muutumisel
  • Rakenda veebikraapimise, andmete eraldamise ja töötlemise oskusi Tendemi projektis
  • Ühenda tehniline otsustusvõime Apify, OpenRouteri ja teiste tööriistadega, et töötada välja tõhusaid kohandatud lahendusi

Nõuded

  • Nõutav on vähemalt viieaastane asjakohane töökogemus andmeinseneeria, veebikraapimise, automatiseerimise või tarkvaraarenduse alal
  • Inseneriteaduse, rakendusmatemaatika, arvutiteaduse või seotud tehnilise valdkonna bakalaureuse- või magistrikraad tuleb kasuks
  • Edasijõudnud Pythoni-põhise kraapimise kogemus BeautifulSoupi, Seleniumi või võrreldavate tööriistade, dünaamilise sisu ja puhverserveri kaudu kasutatavate API-dega
  • Võime hankida andmeid keerukatest allikatest, nagu hierarhiad, arhiivitud lehed ja ebaühtlane HTML
  • Kogemus andmete puhastamise, normaliseerimise ja valideerimisega CSV-, JSON- või Google Sheetsi vormingus edastamiseks
  • Praktiline kogemus robotivastaste kaitsete ja muutuvate veebisaidistruktuuride haldamisel suures mahus
  • AWS-i või võrreldava pilveinfrastruktuuri ning Dockeril põhineva konteineriseerimise tundmine
  • LangChaini, OpenRouteri või sarnaste LLM-raamistike praktiline kasutamine automatiseerimiseks
  • Erakordne tähelepanelikkus detailide suhtes ja tugev keskendumine andmete täpsusele
  • Võime töötada iseseisvalt, uurida probleeme ja lahendada neid ilma pideva juhendamiseta
  • Nõutav on inglise keele hea kesktaseme oskus (B2) või kõrgem
  • GitHubi profiili link tuleb kasuks

Hüved

  • Vabakutseline koostöö
  • Osalise tööajaga kaugtöö
  • Aktiivsete projektiperioodide eeldatav töökoormus on 10–20 tundi nädalas

Seotud töökohad