Mindrift
Mindrift
501 – 1000 Töötajad
SaaSTehisintellektTuruplats
Mindrift on tehisintellekti valdkonna talenditurg ja SaaS-platvorm, mis ühendab professionaalsed panustajad ja valdkonnaeksperdid tehnoloogiaettevõtete tehisintellekti treenimise ja hindamise projektidega. Toloka osana teeb see koostööd kirjutajate, toimetajate, kvaliteedikontrolli spetsialistide, teadlaste ja teiste ainevaldkonnaekspertidega, kes aitavad luua treeningandmeid, hinnata mudelite ohutust ja arutlusvõimet, hinnata meedia kvaliteeti ning luua tegeliku elu olukordi tehisintellekti jõudluse ja töökindluse parandamiseks. Mindrift värbab ja kontrollib panustajaid hindamiste ning isikusamasuse tuvastamise kaudu, seejärel pakub paindlikke tasustatud projektivõimalusi tehisintellekti treenimise ja hindamise valdkonnas.

Vanem Pythoni andmekraapimise insener – vabakutseline, kaugtöö Indiast

Mindrift otsib Tendem AI projekti jaoks kogenud Pythoni inseneri, kes tegeleks struktureeritud veebiandmete eraldamise, valideerimise ja töövoogude skaleerimisega. Roll hõlmab Pythonit, pilveinfrastruktuuri, Dockerit ja suurtel keelemudelitel põhinevaid automatiseerimisraamistikke.

Kirjeldus

  • Halda keerukate veebisaitide täielikke andmete eraldamise töövooge
  • Edasta põhjaliku katvuse, suure täpsuse ja usaldusväärse tähtajaga struktureeritud andmekogumeid
  • Kasuta kogumise, valideerimise ja ülesannete täitmise kiirendamiseks spetsiaalseid tööriistu ja kohandatud töövooge
  • Hangi teavet dünaamilistest ja interaktiivsetest allikatest, sealhulgas JavaScriptiga renderdatud lehtedelt
  • Kohanda kraapimismeetodeid vastavalt veebisaitide käitumise ja lehestruktuuride muutumisele
  • Hoia andmete kvaliteeti valideerimise, allikatevaheliste kontrollide, vormindusstandardite ja süstemaatilise ülevaatuse abil
  • Skaleeri suuremahulist kraapimist tõhusa pakk- ja paralleeltöötluse abil
  • Jälgi tõrkeid ning toeta usaldusväärset ja stabiilset kraapimist
  • Rakenda oma Pythoni, veebikraapimise, andmete eraldamise ja andmetöötluse oskusi Tendemi projektis

Nõuded

  • Vähemalt 5 aastat asjakohast kogemust andmeinseneeria, veebikraapimise, automatiseerimise või tarkvaraarenduse alal
  • Inseneriteaduse, rakendusmatemaatika, arvutiteaduse või muu seotud tehnilise valdkonna bakalaureuse- või magistrikraad tuleb kasuks
  • Tugev praktiline baas skriptimises, automatiseerimises ja andmete eraldamise töövoogudes
  • Põhjalik Pythoni kraapimise kogemus BeautifulSoupi, Seleniumi või võrreldavate tööriistade, dünaamilise sisu ja puhverserveripõhiste API-dega
  • Oskus eraldada teavet keerukatest struktuuridest, sealhulgas hierarhiatest, arhiivilehtedelt ja ebaühtlasest HTML-ist
  • Tugev kogemus andmete puhastamise, normaliseerimise ja valideerimisega
  • Praktiline kogemus robotikaitsete ja dünaamiliste veebisaidistruktuuride haldamisel suurel skaalal
  • Kogemus AWS-i või võrreldava pilveinfrastruktuuriga ning Dockeri konteineriseerimisega
  • LangChaini, OpenRouteri või sarnaste suurte keelemudelite raamistike praktiline kasutamine automatiseerimiseks
  • Hoolikas suhtumine andmete täpsusesse ja kvaliteeti
  • Oskus töötada iseseisvalt, lahendada tõrkeid ja hallata ülesandeid ennetavalt
  • Inglise keele keskmisest kõrgem tase (B2) või kõrgem
  • GitHubi link tuleb kasuks

Hüved

  • Vabakutseline tööleping
  • Osalise koormusega kaugtöö Indiast
  • Aktiivsete projektietappide ajal ligikaudu 10–20 tundi nädalas
  • Võimalus töötada Mindrifti platvormi kaudu tehnoloogiaprojektides
  • Tasu kuni 30 dollarit tunnis arvestuslikult, sõltuvalt kogemustasemest ja panuse tempost

Seotud töökohad