Mindrift
Mindrift
501 – 1 000 Työntekijät
MarkkinapaikkaSaaSTekoäly
Mindrift on tekoälyalan osaajamarkkinapaikka ja SaaS-alusta, joka yhdistää ammattimaiset osallistujat ja alakohtaiset asiantuntijat teknologiayritysten tekoälyn koulutus- ja arviointiprojekteihin. Tolokan osana se työskentelee kirjoittajien, toimittajien, laadunvarmistuksen asiantuntijoiden, tutkijoiden ja muiden alansa asiantuntijoiden kanssa. He auttavat tuottamaan koulutusdataa, arvioimaan mallien turvallisuutta ja päättelykykyä, arvioimaan median laatua sekä luomaan tosielämän tilanteita tekoälyn suorituskyvyn ja luotettavuuden parantamiseksi. Mindrift rekrytoi ja arvioi osallistujat testien ja henkilöllisyyden todentamisen avulla ja tarjoaa sen jälkeen joustavia, palkallisia projektimahdollisuuksia tekoälyn koulutuksen ja arvioinnin parissa.

Senior Python -verkkotiedonkeruun insinööri – etätyö Japanissa

Loo Mindrifti Tendem AI projekti jaoks töökindlad Pythonipõhised veebikaape töövood. Kogu, valideeri ja skaleeri keerukatelt dünaamilistelt veebisaitidelt struktureeritud andmekogumeid.

Kuvaus

  • Juhi terviklikku andmete eraldamist keerukatelt veebisaitidelt
  • Edasta täielikud, täpsed ja töökindlad struktureeritud andmekogumid
  • Kasuta saadaolevaid tööriistu ja kohandatud töövooge kogumise, valideerimise ja ülesannete täitmise kiirendamiseks
  • Eralda andmeid dünaamilistest ja interaktiivsetest allikatest, sealhulgas JavaScripti abil renderdatud sisust
  • Kohanda andmete kaapimise meetodeid vastavalt veebisaidi käitumise muutumisele
  • Hoia andmekvaliteeti valideerimise, eri allikate võrdluse, vormindusstandardite ja süstemaatilise kontrollimise abil
  • Skaleeri suuremahulist andmete kaapimist tõhusa pakett- või paralleeltöötluse abil
  • Jälgi tõrkeid ja säilita töökindlus ka väikeste saidistruktuuri muutuste korral
  • Kasuta veebist eraldamiseks ja töötlemiseks Apifyt, OpenRouterit ja muid tehnoloogiaid

Vaatimukset

  • Vähemalt 5 aastat asjakohast kogemust andmetöötluse, veebikaape, automatiseerimise või tarkvaraarenduse alal
  • Inseneriteaduse, rakendusmatemaatika, arvutiteaduse või sellega seotud tehnilise valdkonna bakalaureuse- või magistrikraad tuleb kasuks
  • Tugev Pythoni-põhise veebikaape kogemus BeautifulSoup'i, Seleniumi või sarnaste tööriistadega, dünaamilise sisuga nagu JavaScript, AJAX ja lõputu kerimine ning puhverserverite kaudu kasutatavate API-dega
  • Oskus eraldada andmeid keerukatest struktuuridest, sealhulgas hierarhiatest, arhiveeritud lehtedelt ja ebaühtlasest HTML-ist
  • Tugev taust andmete puhastamises, normaliseerimises ja valideerimises ning kogemus CSV-, JSON- või Google Sheetsi andmekogumite edastamisel
  • Kogemus robotivastaste mehhanismide ja dünaamiliste saidistruktuuride haldamisel suures mahus
  • Kogemus AWS-i või samaväärse pilvetaristuga
  • Kogemus Dockeri kasutamisel konteineriseerimiseks
  • Praktiline kogemus LLM-i raamistike, näiteks LangChaini, OpenRouteri või sarnaste automatiseerimistööriistade kasutamisel
  • Väga hea tähelepanu detailidele ja pühendumus andmete täpsusele
  • Iseseisev tööviis ning oskus probleeme iseseisvalt lahendada
  • Inglise keele tugev kesktase (B2) või kõrgem
  • GitHubi link tuleb kasuks

Edut

  • Vabakutselise töö võimalus
  • Osalise tööajaga töö, aktiivsetel perioodidel hinnanguliselt umbes 10–20 tundi nädalas
  • Kaugtöö
  • Võimalus panustada uuenduslikesse tehnoloogia- ja tehisintellekti arendusprojektidesse

Samankaltaiset työpaikat