„Mindrift“ yra dirbtinio intelekto talentų rinkos ir SaaS platforma, jungianti profesionalius dalyvius bei konkrečių sričių ekspertus su technologijų įmonių dirbtinio intelekto mokymo ir vertinimo projektais. Būdama „Toloka“ dalimi, ji bendradarbiauja su rašytojais, redaktoriais, kokybės užtikrinimo specialistais, mokslininkais ir kitais sričių ekspertais, kurie padeda kurti mokymo duomenis, vertinti modelių saugumą ir gebėjimą samprotauti, vertinti medijos kokybę bei kurti realaus pasaulio scenarijus, skirtus dirbtinio intelekto našumui ir patikimumui gerinti. „Mindrift“ įdarbina ir tikrina dalyvius atlikdama vertinimus bei patvirtindama jų tapatybę, o vėliau siūlo lanksčias mokamas projektų galimybes dirbtinio intelekto mokymo ir vertinimo srityse.
Vyresnysis Python duomenų nuskaitymo inžinierius (laisvai samdomas, nuotolinis darbas Saudo Arabijoje)
Vyresnysis Python inžinierius kuria keičiamo masto duomenų nuskaitymo darbo eigas Mindrift Tendem AI projektui. Šiame darbe daugiausia dėmesio skiriama sudėtingų žiniatinklio duomenų išgavimui, tikrinimui ir struktūrizavimui naudojant Python bei automatizavimo įrankius.
Aprašymas
- Vadovauk specializuotoms duomenų nuskaitymo darbo eigoms Mindrift Tendem projekte ir jo praktiniuose pritaikymuose
- Valdyk visus duomenų išgavimo procesus sudėtingose interneto svetainėse
- Kurk išsamius, tikslius, patikimus ir gerai struktūrizuotus duomenų rinkinius
- Naudok Apify, OpenRouter ir pasirinktines darbo eigas, kad supaprastintum duomenų rinkimą, tikrinimą ir užduočių vykdymą
- Rink duomenis iš dinamiškų, interaktyvių šaltinių, prisitaikydamas prie JavaScript sugeneruoto turinio ir besikeičiančio svetainių elgesio
- Užtikrink duomenų kokybę atlikdamas tikrinimus, lygindamas skirtingus šaltinius, kontroliuodamas formatavimą ir vykdydamas sistemingą patikrą
- Didink didelės apimties nuskaitymo mastą taikydamas efektyvų paketų apdorojimą ir lygiagretųjį apdorojimą
- Tirk klaidas ir išlaikyk darbo eigų stabilumą, net šiek tiek pasikeitus svetainės struktūrai
- Savarankiškai spręsk sudėtingus scenarijų kūrimo, automatizavimo, duomenų išgavimo, struktūrizavimo ir tikrinimo iššūkius
Reikalavimai
- Ne mažesnė kaip 5 metų atitinkama patirtis duomenų inžinerijos, žiniatinklio duomenų nuskaitymo, automatizavimo arba programinės įrangos kūrimo srityje
- Aukštesnis nei vidutinis anglų kalbos lygis (B2) arba aukštesnis
- Pažangi Python duomenų nuskaitymo patirtis naudojant BeautifulSoup, Selenium ar panašius įrankius, dirbant su dinamišku JavaScript/AJAX turiniu, begaliniu slinkimu ir tarpiniais serveriais pagrįstomis API
- Gebėjimas išgauti informaciją iš sudėtingų hierarchijų, archyvuotų puslapių ir nenuoseklaus HTML
- Puikios duomenų valymo, normalizavimo ir tikrinimo žinios
- Praktinė patirtis valdant apsaugas nuo robotų ir besikeičiančias svetainių struktūras dideliu mastu
- Patirtis dirbant su AWS arba panašia debesijos infrastruktūra
- Patirtis pakuojant programas naudojant Docker
- Praktinė LangChain, OpenRouter arba panašių LLM sistemų naudojimo automatizavimui patirtis
- Didelis dėmesys detalėms ir stiprus susitelkimas į duomenų tikslumą
- Savarankiškas požiūris į darbą ir pasitikėjimas savarankiškai diagnozuojant bei sprendžiant problemas
- Inžinerijos, taikomosios matematikos, informatikos ar susijusios techninės krypties bakalauro arba magistro laipsnis būtų privalumas
- GitHub profilio nuoroda būtų privalumas
Privalumai
- Lankstus ne visos darbo dienos darbas pagal laisvai samdomo specialisto sutartį
- Numatoma darbo apimtis aktyviais projekto laikotarpiais – 10–20 valandų per savaitę
- Atlygis iki 37 JAV dolerių ekvivalento už valandą, priklausomai nuo patirties lygio ir darbo tempo
- Galimybė prisidėti prie inovatyvių dirbtinio intelekto ir technologijų kūrimo projektų
- Visiškai nuotolinis darbas