A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python adatkinyerési mérnök (szabadúszó, távoli munkavégzés Görögországban)
Megbízható Python-alapú adatkinyerési munkafolyamatok létrehozása és skálázása a Mindrift mesterségesintelligencia-technológiai projektjeihez. Strukturált adatkészletek kinyerése, ellenőrzése és átadása összetett, dinamikus webhelyekről.
Leírás
- Összetett webhelyeken végponttól végpontig kezelje az adatkinyerési munkafolyamatokat
- Teljes körű, pontos és megbízható strukturált adatkészleteket adjon át
- Eszközöket és egyedi munkafolyamatokat alkalmazzon az adatgyűjtés, az ellenőrzés és a feladatvégrehajtás felgyorsítására
- Dinamikus és interaktív forrásokból, többek között JavaScript által renderelt oldalakról gyűjtsön adatokat
- A webhelyek működésének változásaihoz igazítsa az adatkinyerési módszereket
- Az adatok minőségét ellenőrzéssel, különböző források összevetésével, formázási szabványokkal és módszeres validálással tartsa fenn
- Hatékony kötegelt vagy párhuzamos feldolgozással skálázza a nagy adatkészletek kinyerését
- Kövesse nyomon a kinyerési hibákat, és kisebb webhelystruktúra-változások mellett is őrizze meg a stabilitást
Követelmények
- Legalább 5 év releváns tapasztalat az adatmérnökség, webes adatkinyerés, automatizálás vagy szoftverfejlesztés területén
- Haladó szintű Python-alapú webes adatkinyerési tapasztalat BeautifulSoup, Selenium vagy hasonló eszközökkel, dinamikus tartalmakkal és proxyalapú API-kkal
- Összetett struktúrákból, többek között hierarchiákból, archivált oldalakról és inkonzisztens HTML-ből történő információkinyerési képesség
- Tapasztalat az adatok tisztításában, normalizálásában és validálásában CSV, JSON és Google Sheets formátumú strukturált átadáshoz
- Tapasztalat botellenes rendszerek és változó webhelystruktúrák kezelésében nagy léptékben
- AWS vagy azzal egyenértékű felhőinfrastruktúra és Docker-konténerizáció használatában szerzett tapasztalat
- Gyakorlati tapasztalat olyan LLM-keretrendszerek automatizálási feladatokban való alkalmazásában, mint a LangChain vagy az OpenRouter
- Aprólékos hozzáállás az adatok pontosságához
- Önálló, saját kezdeményezésű hibaelhárítási készség
- Felső-középfokú (B2) vagy magasabb szintű angol nyelvtudás
- A mérnöki tudományok, alkalmazott matematika, számítástechnika vagy kapcsolódó műszaki terület alapképzésén vagy mesterképzésén szerzett diploma előnyt jelent
- A GitHub-profil előnyt jelent
Juttatások
- Távoli munkavégzés
- Részmunkaidős munkarend, az aktív projektfázisokban heti körülbelül 10–20 órában
- Szabadúszó együttműködés
- Innovatív technológiai projekteken való munka a Mindrift platformján keresztül