„Mindrift“ yra dirbtinio intelekto talentų rinkos ir SaaS platforma, jungianti profesionalius dalyvius bei konkrečių sričių ekspertus su technologijų įmonių dirbtinio intelekto mokymo ir vertinimo projektais. Būdama „Toloka“ dalimi, ji bendradarbiauja su rašytojais, redaktoriais, kokybės užtikrinimo specialistais, mokslininkais ir kitais sričių ekspertais, kurie padeda kurti mokymo duomenis, vertinti modelių saugumą ir gebėjimą samprotauti, vertinti medijos kokybę bei kurti realaus pasaulio scenarijus, skirtus dirbtinio intelekto našumui ir patikimumui gerinti. „Mindrift“ įdarbina ir tikrina dalyvius atlikdama vertinimus bei patvirtindama jų tapatybę, o vėliau siūlo lanksčias mokamas projektų galimybes dirbtinio intelekto mokymo ir vertinimo srityse.
Vyresnysis Python duomenų nuskaitymo inžinierius – laisvai samdomas, nuotolinis darbas iš Indijos
„Mindrift“ ieško vyresniojo Python inžinieriaus, kuris „Tendem AI“ projekte išgautų, tikrintų ir masteliuotų struktūrizuotų žiniatinklio duomenų darbo procesus. Darbas apima Python, debesijos infrastruktūrą, Docker ir didžiaisiais kalbos modeliais pagrįstas automatizavimo sistemas.
Aprašymas
- Valdyti visus duomenų išgavimo darbo procesus sudėtingose svetainėse
- Teikti struktūrizuotus duomenų rinkinius, pasižyminčius išsamia aprėptimi, dideliu tikslumu ir patikimu įvykdymo laiku
- Naudoti specializuotus įrankius ir pritaikytus darbo procesus rinkimui, tikrinimui ir užduočių vykdymui paspartinti
- Gauti informaciją iš dinaminių ir interaktyvių šaltinių, įskaitant puslapius, sugeneruotus naudojant JavaScript
- Koreguoti nuskaitymo metodus keičiantis svetainių veikimui ir puslapių struktūroms
- Užtikrinti duomenų kokybę atliekant tikrinimą, kryžminius šaltinių patikrinimus, laikantis formatavimo standartų ir sistemingai peržiūrint duomenis
- Didinti didelės apimties nuskaitymo mastą naudojant efektyvų paketų apdorojimą ir lygiagretųjį procesų vykdymą
- Stebėti klaidas ir padėti užtikrinti patikimą bei stabilų nuskaitymą
- Pritaikyti Python, žiniatinklio nuskaitymo, duomenų išgavimo ir duomenų apdorojimo žinias „Tendem“ projekte
Reikalavimai
- Ne mažesnė kaip 5 metų atitinkama patirtis duomenų inžinerijos, žiniatinklio nuskaitymo, automatizavimo ar programinės įrangos kūrimo srityje
- Inžinerijos, taikomosios matematikos, informatikos ar susijusios techninės srities bakalauro arba magistro laipsnis būtų privalumas
- Tvirtas praktinis skriptų kūrimo, automatizavimo ir duomenų išgavimo darbo procesų pagrindas
- Pažangi Python nuskaitymo patirtis naudojant BeautifulSoup, Selenium ar panašius įrankius, dirbant su dinaminiu turiniu ir tarpiniais serveriais pagrįstomis API
- Gebėjimas išgauti informaciją iš sudėtingų struktūrų, įskaitant hierarchijas, archyvuotus puslapius ir nenuoseklų HTML
- Didelė duomenų valymo, normalizavimo ir tikrinimo patirtis
- Praktinė patirtis dideliu mastu valdant apsaugą nuo robotų ir dinamines svetainių struktūras
- Patirtis su AWS ar panašia debesijos infrastruktūra ir Docker konteinerizavimu
- Praktinė „LangChain“, „OpenRouter“ ar panašių didžiųjų kalbos modelių sistemų naudojimo automatizavimui patirtis
- Kruopštus požiūris į duomenų tikslumą ir kokybę
- Gebėjimas savarankiškai dirbti, šalinti problemas ir iniciatyviai valdyti užduotis
- Aukštesnis nei vidutinis anglų kalbos mokėjimas (B2) arba aukštesnis lygis
- „GitHub“ nuoroda būtų privalumas
Privalumai
- Laisvai samdomo darbuotojo darbas
- Ne visos darbo dienos nuotolinis darbas iš Indijos
- Aktyviais projekto etapais maždaug 10–20 valandų per savaitę
- Galimybės dirbti technologijų projektuose per „Mindrift“ platformą
- Atlygis iki 30 JAV dolerių ekvivalento už valandą, priklausomai nuo patirties lygio ir indėlio tempo