Mindrift
Mindrift
501 – 1000 Töötajad
SaaSTehisintellektTuruplats
Mindrift on tehisintellekti valdkonna talenditurg ja SaaS-platvorm, mis ühendab professionaalsed panustajad ja valdkonnaeksperdid tehnoloogiaettevõtete tehisintellekti treenimise ja hindamise projektidega. Toloka osana teeb see koostööd kirjutajate, toimetajate, kvaliteedikontrolli spetsialistide, teadlaste ja teiste ainevaldkonnaekspertidega, kes aitavad luua treeningandmeid, hinnata mudelite ohutust ja arutlusvõimet, hinnata meedia kvaliteeti ning luua tegeliku elu olukordi tehisintellekti jõudluse ja töökindluse parandamiseks. Mindrift värbab ja kontrollib panustajaid hindamiste ning isikusamasuse tuvastamise kaudu, seejärel pakub paindlikke tasustatud projektivõimalusi tehisintellekti treenimise ja hindamise valdkonnas.

Vanem Pythoni andmekraapimise insener (osalise tööajaga, kaugtöö Gruusias)

Mindrift otsib kogenud Pythoni inseneri, kes looks tehisintellekti tehnoloogia projektide jaoks töökindlad andmekraapimise töövood. Roll keskendub struktureeritud andmekogumite eraldamisele, valideerimisele ja skaleerimisele keerukatelt ning dünaamilistelt veebisaitidelt.

Kirjeldus

  • Halda keerukate veebisaitide andmeväljavõtte töövooge algusest lõpuni
  • Edasta täielikud, täpsed ja usaldusväärsed struktureeritud andmekogumid
  • Kasuta olemasolevaid tööriistu ja kohandatud töövooge andmete kogumise, valideerimise ning ülesannete täitmise kiirendamiseks
  • Eralda andmeid dünaamilistest ja interaktiivsetest veebiallikatest, sealhulgas JavaScriptiga renderdatud lehtedelt
  • Kohanda kraapimismeetodeid vastavalt veebisaitide käitumise muutumisele
  • Säilita andmete kvaliteet valideerimiskontrollide, allikatevahelise kooskõla kontrolli, vormingunõuete ja süstemaatilise kontrollimise abil
  • Skaleeri suurte andmekogumite kraapimist tõhusa partiitöötluse või paralleeltöötlusega
  • Jälgi tõrkeid ja säilita stabiilsus veebisaidi struktuuri väikeste muutuste korral
  • Ühenda Apify ja OpenRouteri sarnased tööriistad asjakohase tehnilise oskusteabega

Nõuded

  • Vähemalt 5 aastat asjakohast kogemust andmeinseneeria, veebikraapimise, automatiseerimise või tarkvaraarenduse alal
  • Inseneriteaduse, rakendusmatemaatika, informaatika või sellega seotud tehnilise valdkonna bakalaureuse- või magistrikraad on eelis
  • Tugev Pythonil põhineva veebikraapimise kogemus BeautifulSoup'i, Seleniumi või võrreldavate tööriistadega, dünaamilise sisu ja puhverserverite kaudu kasutatavate API-dega
  • Tõendatud võime eraldada teavet keerukatest struktuuridest, sealhulgas hierarhiatest, arhiveeritud lehtedelt ja ebaühtlasest HTML-ist
  • Põhjalik kogemus andmete puhastamise, normaliseerimise ja valideerimisega CSV-, JSON- või Google Sheetsi vormingus edastamiseks
  • Praktiline kogemus robotivastaste mehhanismide ja dünaamiliste veebisaidistruktuuride haldamisel suures mahus
  • Kogemus AWS-i või võrreldava pilvetaristuga ning Dockeril põhineva konteineriseerimisega
  • Praktiline kogemus LLM-i raamistike, näiteks LangChaini või OpenRouteri, rakendamisel automatiseerimisülesannetes
  • Suur tähelepanelikkus detailide suhtes ja tugev pühendumus andmete täpsusele
  • Võime töötada iseseisvalt ja lahendada probleeme ilma tiheda juhendamiseta
  • Inglise keele kõrgem kesktase (B2) või kõrgem
  • GitHubi profiili link on eelis

Hüved

  • Osalise tööajaga kaugtöö vabakutselise lepinguna
  • Aktiivsete projektifaaside ajal ligikaudu 10–20 tundi nädalas
  • Töö tehnoloogia- ja tehisintellekti arendusprojektidega

Seotud töökohad

Jerry

Redditi sotsiaalmeediajuht Jerrys

Jerry

Loo Jerryle autentsed Redditi kogukonnad kasuliku sisu, mainehalduse ja kogukonnaga suhtlemise kaudu. Muuda arutelud ja autoomanike kogemused tootetiimile ja sisutiimile kasulikuks teabeks.

Ava