„Mindrift“ yra dirbtinio intelekto talentų rinkos ir SaaS platforma, jungianti profesionalius dalyvius bei konkrečių sričių ekspertus su technologijų įmonių dirbtinio intelekto mokymo ir vertinimo projektais. Būdama „Toloka“ dalimi, ji bendradarbiauja su rašytojais, redaktoriais, kokybės užtikrinimo specialistais, mokslininkais ir kitais sričių ekspertais, kurie padeda kurti mokymo duomenis, vertinti modelių saugumą ir gebėjimą samprotauti, vertinti medijos kokybę bei kurti realaus pasaulio scenarijus, skirtus dirbtinio intelekto našumui ir patikimumui gerinti. „Mindrift“ įdarbina ir tikrina dalyvius atlikdama vertinimus bei patvirtindama jų tapatybę, o vėliau siūlo lanksčias mokamas projektų galimybes dirbtinio intelekto mokymo ir vertinimo srityse.
Vyresnysis Python duomenų rinkimo iš žiniatinklio inžinierius – laisvai samdomas nuotolinis darbas
Kurkite ir prižiūrėkite tikslias, lengvai plečiamas žiniatinklio duomenų rinkimo darbo eigas „Mindrift“ „Tendem AI“ projektui. Naudokite Python ir automatizavimo įrankius sudėtingiems žiniatinklio duomenims išgauti, tikrinti ir apdoroti.
Aprašymas
- Valdykite duomenų išgavimą nuo pradžios iki pabaigos sudėtingose svetainėse
- Teikite struktūrizuotus duomenų rinkinius, pasižyminčius išsamia aprėptimi, dideliu tikslumu ir patikimu atlikimo terminu
- Derinkite turimus įrankius su individualiai pritaikytomis darbo eigomis, kad paspartintumėte rinkimą, tikrinimą ir užduočių užbaigimą
- Rinkite duomenis iš dinaminių, interaktyvių svetainių, prisitaikydami prie JavaScript generuojamo turinio ir besikeičiančio svetainių elgesio
- Užtikrinkite duomenų rinkinių kokybę naudodami tikrinimo procedūras, skirtingų šaltinių palyginimus, formatavimo standartus ir sistemingą peržiūrą
- Didinkite didelių duomenų rinkinių rinkimo pajėgumą naudodami efektyvų paketų apdorojimą arba lygiagretų vykdymą
- Stebėkite išgavimo klaidas ir išlaikykite stabilumą, kai svetainių struktūros šiek tiek keičiasi
- Naudokite tokius įrankius kaip „Apify“ ir „OpenRouter“, derindami juos su tvirtu techniniu sprendimu
Reikalavimai
- Turite bent penkerių metų atitinkamos duomenų inžinerijos, žiniatinklio duomenų rinkimo, automatizavimo arba programinės įrangos kūrimo patirties
- Gerai išmanote duomenų rinkimą naudojant Python, BeautifulSoup, Selenium ar panašius įrankius, JavaScript ir AJAX turinį, begalinį slinkimą bei tarpiniais serveriais pagrįstas API
- Gebate gauti duomenis iš sudėtingų šaltinių, pavyzdžiui, hierarchijų, archyvuotų puslapių ir nevienodo HTML
- Mokate išvalyti, normalizuoti ir patikrinti duomenis, kad juos būtų galima struktūrizuotai pateikti CSV, JSON ir „Google Sheets“ formatais
- Turite praktinės patirties sprendžiant apsaugos nuo automatizuotų robotų ir besikeičiančių svetainių struktūrų klausimus dideliu mastu
- Esate realiuose projektuose naudoję AWS arba panašią debesijos infrastruktūrą ir „Docker“ konteinerizavimą
- Esate automatizavimo darbuose taikę LLM sistemas, pavyzdžiui, „LangChain“ arba „OpenRouter“
- Dirbate kruopščiai ir daug dėmesio skiriate duomenų tikslumui
- Dirbate savarankiškai, rodote iniciatyvą ir sprendžiate problemas be glaudžios priežiūros
- Anglų kalba bendraujate ne žemesniu nei aukštesniu vidutiniu (B2) lygiu
- Inžinerijos, taikomosios matematikos, informatikos ar susijusios techninės krypties bakalauro arba magistro laipsnis būtų privalumas
- „GitHub“ profilio nuoroda būtų privalumas
Privalumai
- Ne visos darbo dienos laisvai samdomas darbas nuotoliniu būdu
- Aktyviais projekto etapais maždaug 10–20 valandų per savaitę
- Atlygis iki 25 JAV dolerių per valandą ekvivalentu, priklausomai nuo patirties lygio ir darbo tempo