A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python-adatgyűjtő mérnök – szabadúszó, távoli munkavégzés
A Mindrift tapasztalt Python-mérnököt keres megbízható webes adatgyűjtési és adatfeldolgozási munkafolyamatok kialakítására MI-projektekhez. A munkakör összetett webhelyekről származó strukturált adatkészletek kinyerésére, ellenőrzésére és skálázására összpontosít.
Leírás
- Összetett webhelyeken zajló, teljes körű adatkinyerési munkafolyamatok vezetése
- Teljes, pontos és megbízható strukturált adatkészletek átadása
- Rendelkezésre álló eszközök és egyedi munkafolyamatok alkalmazása az adatgyűjtés, az ellenőrzés és a feladatvégrehajtás felgyorsítására
- Adatgyűjtés dinamikus és interaktív forrásokból, alkalmazkodva a JavaScript által megjelenített tartalmakhoz és a webhelyek változó működéséhez
- Az adatminőség fenntartása ellenőrzésekkel, források közötti konzisztenciavizsgálatokkal, formázási követelményekkel és szisztematikus verifikációval
- Nagy adatkészletek gyűjtésének skálázása hatékony kötegelt vagy párhuzamos feldolgozással
- Hibák figyelése és a scraper stabilitásának megőrzése kisebb webhelystruktúra-változások esetén
- Együttműködés az Apify, az OpenRouter és más releváns technológiák használatával
Követelmények
- Legalább 5 év releváns tapasztalat adatengineering, webes adatgyűjtés, automatizálás vagy szoftverfejlesztés területén
- B2-es vagy magasabb szintű, felső-középfokú angol nyelvtudás
- Erős Python-alapú adatgyűjtési tapasztalat BeautifulSoup, Selenium vagy hasonló eszközökkel, dinamikus tartalmakkal – például JavaScript, AJAX és végtelen görgetés –, valamint proxyalapú API-kkal
- Képesség összetett struktúrákból információt kinyerni, beleértve a hierarchiákat, archivált oldalakat és inkonzisztens HTML-t
- Tapasztalat adatok tisztításában, normalizálásában és ellenőrzésében CSV, JSON vagy Google Sheets formátumú átadáshoz
- Tapasztalat botellenes mechanizmusok és változó webhelystruktúrák nagy léptékű kezelésében
- Gyakorlati tapasztalat AWS-sel vagy egyenértékű felhőinfrastruktúrával és Docker-konténerizációval
- Gyakorlati tapasztalat a LangChain, az OpenRouter vagy hasonló LLM-keretrendszerek automatizálási célú használatában
- Nagyfokú figyelem a részletekre és elkötelezettség az adatok pontossága iránt
- Önálló munkavégzési és hatékony hibakeresési képesség
- A mérnöki tudományok, alkalmazott matematika, számítástechnika vagy kapcsolódó műszaki terület alapképzési vagy mesterfokozata előnyt jelent
- GitHub-profillink előnyt jelent
Juttatások
- Szabadúszó együttműködés
- Részmunkaidős, távoli munkavégzés
- Aktív projektfázisokban körülbelül heti 10–20 óra
- Tapasztalati szinttől és a hozzájárulás ütemétől függően legfeljebb óránként 40 amerikai dollárnak megfelelő összeg