„Mindrift“ yra dirbtinio intelekto talentų rinkos ir SaaS platforma, jungianti profesionalius dalyvius bei konkrečių sričių ekspertus su technologijų įmonių dirbtinio intelekto mokymo ir vertinimo projektais. Būdama „Toloka“ dalimi, ji bendradarbiauja su rašytojais, redaktoriais, kokybės užtikrinimo specialistais, mokslininkais ir kitais sričių ekspertais, kurie padeda kurti mokymo duomenis, vertinti modelių saugumą ir gebėjimą samprotauti, vertinti medijos kokybę bei kurti realaus pasaulio scenarijus, skirtus dirbtinio intelekto našumui ir patikimumui gerinti. „Mindrift“ įdarbina ir tikrina dalyvius atlikdama vertinimus bei patvirtindama jų tapatybę, o vėliau siūlo lanksčias mokamas projektų galimybes dirbtinio intelekto mokymo ir vertinimo srityse.
Vyresnysis Python žiniatinklio duomenų nuskaitymo inžinierius (laisvai samdomas, nuotolinis darbas iš Portugalijos)
Kurk patikimus žiniatinklio duomenų nuskaitymo ir apdorojimo procesus „Mindrift“ „Tendem AI“ projektui. Išgauk, patikrink ir išplėsk struktūrizuotus duomenų rinkinius iš sudėtingų ir dinamiškų svetainių.
Aprašymas
- Valdyk visą duomenų išgavimo iš sudėtingų svetainių procesą ir pateik išsamius, tikslius bei patikimus struktūrizuotus duomenų rinkinius
- Naudok įrankius ir pritaikytus procesus duomenų rinkimo, tikrinimo ir užduočių atlikimo spartai didinti
- Rink duomenis iš dinamiškų ir interaktyvių šaltinių, prisitaikydamas prie „JavaScript“ generuojamo turinio ir kintančio svetainių elgesio
- Užtikrink duomenų kokybę atlikdamas tikrinimus, lygindamas skirtingus šaltinius, laikydamasis formatavimo reikalavimų ir sistemingai peržiūrėdamas rezultatus
- Išplėsk didelių duomenų rinkinių nuskaitymo operacijas naudodamas efektyvų paketų apdorojimą arba lygiagretųjį apdorojimą
- Stebėk išgavimo klaidas ir užtikrink stabilumą, kai svetainių struktūrose atliekami nedideli pakeitimai
- Taikyk žiniatinklio duomenų nuskaitymo, duomenų išgavimo ir apdorojimo kompetenciją specializuotuose „Tendem“ projekto procesuose
Reikalavimai
- Turi bent penkerių metų atitinkamos patirties duomenų inžinerijos, žiniatinklio duomenų nuskaitymo, automatizavimo arba programinės įrangos kūrimo srityje
- Turi puikius Python duomenų nuskaitymo įgūdžius ir moki naudoti „BeautifulSoup“, „Selenium“ ar panašius įrankius, apdoroti „JavaScript“ ir AJAX turinį, begalinį slinkimą, API bei tarpinius serverius
- Gebėsi išgauti informaciją iš sudėtingų hierarchijų, archyvinių puslapių ir nenuoseklaus HTML
- Turi tvirtus duomenų valymo, normalizavimo ir tikrinimo pagrindus bei patirties kuriant struktūrizuotus CSV, JSON ir „Google Sheets“ duomenų rinkinius
- Turi patirties dideliu mastu valdant apsaugas nuo robotų ir kintančias svetainių struktūras
- Turi patirties naudojant AWS arba panašią debesijos infrastruktūrą ir „Docker“ pagrįstą konteinerizavimą
- Turi praktinės patirties automatizavimo užduotims taikant LLM sistemas, tokias kaip „LangChain“, „OpenRouter“ ar panašius įrankius
- Dirbi itin kruopščiai ir nuosekliai sieki duomenų tikslumo
- Gebėsi dirbti savarankiškai, prisiimti atsakomybę už trikčių šalinimą ir išlaikyti savarankišką darbo požiūrį
- Anglų kalbos mokėjimas yra ne žemesnis nei aukštesnio vidutinio lygio (B2)
- Inžinerijos, taikomosios matematikos, informatikos ar susijusios techninės srities bakalauro arba magistro laipsnis būtų privalumas
- „GitHub“ profilio nuoroda būtų privalumas
Privalumai
- Laisvai samdomo darbuotojo darbas
- Aktyviais projekto etapais numatoma 10–20 valandų per savaitę ne visa darbo diena
- Nuotolinis darbas
- Galimybė per „Mindrift“ platformą dirbti su novatoriškais technologijų projektais