Mindrift
Mindrift
501 – 1000 Töötajad
SaaSTehisintellektTuruplats
Mindrift on tehisintellekti valdkonna talenditurg ja SaaS-platvorm, mis ühendab professionaalsed panustajad ja valdkonnaeksperdid tehnoloogiaettevõtete tehisintellekti treenimise ja hindamise projektidega. Toloka osana teeb see koostööd kirjutajate, toimetajate, kvaliteedikontrolli spetsialistide, teadlaste ja teiste ainevaldkonnaekspertidega, kes aitavad luua treeningandmeid, hinnata mudelite ohutust ja arutlusvõimet, hinnata meedia kvaliteeti ning luua tegeliku elu olukordi tehisintellekti jõudluse ja töökindluse parandamiseks. Mindrift värbab ja kontrollib panustajaid hindamiste ning isikusamasuse tuvastamise kaudu, seejärel pakub paindlikke tasustatud projektivõimalusi tehisintellekti treenimise ja hindamise valdkonnas.

Vanem Pythoni veebiandmete kraapimise insener (vabakutseline, kaugtöö Saudi Araabias)

Vanem Pythoni insener arendab Mindrifti Tendem AI projekti jaoks skaleeritavaid veebiandmete kraapimise töövooge. Töö keskendub keerukate veebiandmete eraldamisele, valideerimisele ja struktureerimisele Pythoni ning automatiseerimistööriistade abil.

Kirjeldus

  • Juhi Mindrifti Tendemi projekti ja selle praktiliste rakenduste spetsialiseeritud veebiandmete kraapimise töövooge
  • Halda keerukate veebisaitide täielikke andmete eraldamise töövooge
  • Koosta täielikke, täpseid, usaldusväärseid ja hästi struktureeritud andmekogumeid
  • Kasuta Apifyt, OpenRouterit ja kohandatud töövooge andmete kogumise, valideerimise ja ülesannete täitmise tõhustamiseks
  • Kogu andmeid dünaamilistest ja interaktiivsetest allikatest, kohandudes JavaScriptiga renderdatud sisu ja muutuvate veebisaitide käitumismustritega
  • Kaitse andmete kvaliteeti valideerimiskontrollide, allikatevaheliste võrdluste, vorminduskontrollide ja süstemaatilise kontrollimise abil
  • Skaleeri suurte andmemahtude kraapimist tõhusa pakktöötluse ja paralleeltöötluse abil
  • Uuri tõrkeid ja säilita töövoogude stabiilsus veebisaidi struktuuri väikeste muudatuste korral
  • Lahenda iseseisvalt keerukaid skriptimise, automatiseerimise, andmete eraldamise, struktureerimise ja valideerimisega seotud probleeme

Nõuded

  • Vähemalt 5 aastat asjakohast kogemust andmeinseneeria, veebiandmete kraapimise, automatiseerimise või tarkvaraarenduse alal
  • Inglise keele kõrgem kesktase (B2) või parem
  • Edasijõudnud Pythoni-põhise kraapimise kogemus BeautifulSoupiga, Seleniumiga või samaväärsete tööriistadega, sealhulgas dünaamilise JavaScripti/AJAX-sisu, lõputu kerimise ja puhverserveripõhiste API-dega
  • Oskus eraldada teavet keerukatest hierarhiatest, arhiivitud lehtedelt ja ebaühtlasest HTML-ist
  • Tugevad teadmised andmete puhastamisest, normaliseerimisest ja valideerimisest
  • Praktiline kogemus robotivastaste kaitsete ja muutuvate veebisaidi struktuuride haldamisel suures mahus
  • Kogemus AWS-i või võrreldava pilvetaristuga
  • Kogemus rakenduste pakendamisel Dockeriga
  • LangChaini, OpenRouteri või sarnaste LLM-raamistike praktiline kasutamine automatiseerimisel
  • Suur tähelepanelikkus detailide suhtes ja tugev keskendumine andmete täpsusele
  • Iseseisev tööstiil ja enesekindlus probleemide iseseisval lahendamisel
  • Inseneriteaduse, rakendusmatemaatika, arvutiteaduse või seotud tehnilise eriala bakalaureuse- või magistrikraad tuleb kasuks
  • GitHubi profiili link tuleb kasuks

Hüved

  • Paindlik osalise koormusega vabakutseline töö
  • Eeldatav töökoormus aktiivsete projektiperioodide ajal 10–20 tundi nädalas
  • Töötasu kuni 37 dollarit tunnis ekvivalendina, sõltuvalt kogemustasemest ja panuse tempost
  • Võimalus panustada uuenduslikesse tehisintellekti ja tehnoloogia arendusprojektidesse
  • Täielikult kaugtöö

Seotud töökohad

Snowflake

Vanem tarkvarainsener, arendajate tootlikkus

Snowflake

Loo Snowflake’i Observe’i jälgitavusplatvormile CI/CD-süsteeme, testimise taristut ja tehisintellekti agentide tööriistu. Suurenda suure inseneriorganisatsiooni arendajate töökiirust ja väljalasete töökindlust.

Ava