„Mindrift“ yra dirbtinio intelekto talentų rinkos ir SaaS platforma, jungianti profesionalius dalyvius bei konkrečių sričių ekspertus su technologijų įmonių dirbtinio intelekto mokymo ir vertinimo projektais. Būdama „Toloka“ dalimi, ji bendradarbiauja su rašytojais, redaktoriais, kokybės užtikrinimo specialistais, mokslininkais ir kitais sričių ekspertais, kurie padeda kurti mokymo duomenis, vertinti modelių saugumą ir gebėjimą samprotauti, vertinti medijos kokybę bei kurti realaus pasaulio scenarijus, skirtus dirbtinio intelekto našumui ir patikimumui gerinti. „Mindrift“ įdarbina ir tikrina dalyvius atlikdama vertinimus bei patvirtindama jų tapatybę, o vėliau siūlo lanksčias mokamas projektų galimybes dirbtinio intelekto mokymo ir vertinimo srityse.
Vyresnysis Python duomenų rinkimo inžinierius (laisvai samdomas, nuotolinis darbas Graikijoje)
Kurkite ir didinkite patikimus Python pagrįstus duomenų rinkimo procesus „Mindrift“ dirbtinio intelekto technologijų projektams. Išgaukite, patikrinkite ir pateikite struktūrizuotus duomenų rinkinius iš sudėtingų ir dinamiškų svetainių.
Aprašymas
- Valdykite visus duomenų išgavimo procesus sudėtingose svetainėse
- Pateikite išsamius, tikslius ir patikimus struktūrizuotus duomenų rinkinius
- Taikykite įrankius ir pritaikytus procesus duomenų rinkimui, tikrinimui ir užduočių vykdymui paspartinti
- Rinkite duomenis iš dinamiškų ir interaktyvių šaltinių, įskaitant puslapius, sugeneruotus naudojant JavaScript
- Koreguokite duomenų rinkimo metodus keičiantis svetainių veikimui
- Užtikrinkite duomenų kokybę tikrindami, lygindami skirtingus šaltinius, laikydamiesi formatavimo standartų ir sistemingai tikrindami rezultatus
- Didinkite didelių duomenų rinkinių rinkimo mastą naudodami efektyvų paketų apdorojimą arba lygiagretųjį apdorojimą
- Stebėkite duomenų išgavimo klaidas ir išlaikykite stabilumą net šiek tiek pasikeitus svetainės struktūrai
Reikalavimai
- Ne mažesnė kaip 5 metų atitinkama patirtis duomenų inžinerijos, žiniatinklio duomenų rinkimo, automatizavimo arba programinės įrangos kūrimo srityse
- Pažangi Python pagrįsto žiniatinklio duomenų rinkimo patirtis naudojant BeautifulSoup, Selenium ar panašius įrankius, dirbant su dinaminiu turiniu ir tarpiniais serveriais pagrįstomis API
- Gebėjimas išgauti informaciją iš sudėtingų struktūrų, įskaitant hierarchijas, archyvuotus puslapius ir nenuoseklų HTML
- Patirtis valant, normalizuojant ir tikrinant duomenis, skirtus struktūrizuotai pateikti CSV, JSON ir „Google Sheets“ formatais
- Patirtis sprendžiant apsaugos nuo robotų sistemas ir kintančias svetainių struktūras dideliu mastu
- Patirtis dirbant su AWS arba lygiaverte debesijos infrastruktūra ir naudojant Docker konteinerius
- Praktinė patirtis automatizavimo užduotims taikant LLM sistemas, tokias kaip „LangChain“ ar „OpenRouter“
- Kruopštus požiūris į duomenų tikslumą
- Savarankiški ir iniciatyvūs trikčių šalinimo įgūdžiai
- Aukštesnis nei vidutinis anglų kalbos lygis (B2) arba aukštesnis
- Inžinerijos, taikomosios matematikos, informatikos ar susijusios techninės srities bakalauro arba magistro laipsnis būtų privalumas
- „GitHub“ profilis būtų privalumas
Privalumai
- Dirbkite nuotoliniu būdu
- Ne viso etato grafikas – aktyviais projekto etapais maždaug 10–20 valandų per savaitę
- Darbas pagal laisvai samdomo specialisto sutartį
- Dirbkite su inovatyviais technologijų projektais per „Mindrift“ platformą