Mindrift on tehisintellekti valdkonna talenditurg ja SaaS-platvorm, mis ühendab professionaalsed panustajad ja valdkonnaeksperdid tehnoloogiaettevõtete tehisintellekti treenimise ja hindamise projektidega. Toloka osana teeb see koostööd kirjutajate, toimetajate, kvaliteedikontrolli spetsialistide, teadlaste ja teiste ainevaldkonnaekspertidega, kes aitavad luua treeningandmeid, hinnata mudelite ohutust ja arutlusvõimet, hinnata meedia kvaliteeti ning luua tegeliku elu olukordi tehisintellekti jõudluse ja töökindluse parandamiseks. Mindrift värbab ja kontrollib panustajaid hindamiste ning isikusamasuse tuvastamise kaudu, seejärel pakub paindlikke tasustatud projektivõimalusi tehisintellekti treenimise ja hindamise valdkonnas.
Vanem Pythoni andmekraapimise insener (vabakutseline, kaugtöö Rootsis)
Mindrift otsib kogenud Pythoni inseneri, kes looks tehisintellektiprojektidele töökindlaid andmekraapimise töövooge. Roll keskendub struktureeritud andmete eraldamisele, valideerimisele ja skaleerimisele keerukatelt ning dünaamilistelt veebisaitidelt.
Kirjeldus
- Juhi keerukatel veebisaitidel täielikke andmete eraldamise töövooge
- Paku põhjalikke, täpseid ja töökindlaid struktureeritud andmekogumeid
- Kasuta saadaolevaid tööriistu ja kohandatud töövooge andmekogumise, valideerimise ning ülesannete täitmise kiirendamiseks
- Kogu andmeid dünaamilistelt ja interaktiivsetelt veebisaitidelt, kohandudes JavaScripti abil renderdatud sisu ning muutuvate saidikäitumistega
- Kaitse andmete kvaliteeti valideerimiskontrollide, allikatevaheliste võrdluste, vormindusstandardite ja süstemaatilise kontrollimise abil
- Skaleeri suuremahulist kraapimist tõhusa pakktöötluse ja paralleelse töötlemise kaudu
- Jälgi eraldamisvigu ja säilita süsteemi stabiilsus veebisaidi struktuuri väikeste muudatuste korral
- Kasuta Apifyt, OpenRouterit ja muid asjakohaseid tehnoloogiaid koos tugeva tehnilise otsustusvõimega
Nõuded
- Vähemalt viis aastat asjakohast kogemust andmeinseneeria, veebikraapimise, automatiseerimise või tarkvaraarenduse alal
- Kõrgtasemel Pythoni kraapimiskogemus BeautifulSoupiga, Seleniumiga või võrreldavate tööriistadega, dünaamilise sisuga, nagu JavaScript, AJAX ja lõputu kerimine, ning puhverserveripõhiste API-dega
- Oskus eraldada teavet keerukatest struktuuridest, sealhulgas hierarhiatest, arhiveeritud lehtedest ja ebaühtlasest HTML-ist
- Kogemus andmete puhastamise, normaliseerimise ja valideerimisega struktureeritud CSV-, JSON- või Google Sheetsi väljundite jaoks
- Praktiline kogemus robotivastaste kaitsete ja muutuvate veebisaidi struktuuride haldamisel suures mahus
- Kogemus AWS-i või võrreldava pilvetaristu ning Dockeri konteinerite kasutamisel tootmise töövoogudes
- Praktiline kogemus LLM-i raamistike, nagu LangChain, OpenRouter või sarnased tööriistad, rakendamisel automatiseerimises
- Väga hea tähelepanu detailidele ja järjepidev keskendumine andmete täpsusele
- Iseseisev ja enesejuhitud lähenemine tõrkeotsingule ning probleemide lahendamisele
- Inglise keele keskmisest kõrgem (B2) või kõrgem oskus
- Inseneriteaduse, rakendusmatemaatika, informaatika või seotud tehnilise eriala bakalaureuse- või magistrikraad tuleb kasuks
- GitHubi profiil tuleb kasuks
Hüved
- Vabakutseline töö
- Osalise koormusega kaugtöö
- Aktiivsete projektietappide ajal hinnanguliselt 10–20 tundi nädalas