A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python-adatkaparó mérnök — Távoli szabadúszó munka Romániában
A Mindrift senior Python-mérnököt keres megbízható adatkaparási és adatkinyerési munkafolyamatok kialakítására AI-projektekhez. A munkakör középpontjában a dinamikus webhelyek pontos, ellenőrzött és strukturált adathalmazokká alakítása áll.
Leírás
- Teljes körű adatkinyerési munkafolyamatok kezelése összetett webhelyeken
- Átfogó, pontos és megbízható strukturált adathalmazok létrehozása
- A rendelkezésre álló eszközök és testreszabott munkafolyamatok használata az adatgyűjtés, az ellenőrzés és a feladatok elvégzésének felgyorsítására
- Dinamikus és interaktív webhelyek megbízható feltérképezése a JavaScript által renderelt tartalmakhoz és a változó webhelyviselkedéshez alkalmazkodva
- Az adatok minőségének fenntartása ellenőrzéssel, több forrás összevetésével, formázási követelményekkel és rendszeres felülvizsgálatokkal
- Nagy mennyiségű adatkaparás méretezése hatékony kötegelt vagy párhuzamos feldolgozással
- A kinyerési hibák nyomon követése és a munkafolyamat stabilitásának megőrzése kisebb webhelystruktúra-változások esetén
- Az Apify, az OpenRouter és kapcsolódó technológiák használata webes adatkinyerési és adatfeldolgozási munkafolyamatokban
Követelmények
- Legalább 5 év releváns tapasztalat szükséges az adatmérnökség, a webes adatkaparás, az automatizálás vagy a szoftverfejlesztés területén
- Mérnöki, alkalmazott matematikai, informatikai vagy kapcsolódó műszaki területen szerzett alap- vagy mesterfokozat előnyt jelent
- Erős műszaki alapok, gyakorlati tapasztalattal a szkriptelésben, az automatizálásban és az adatkinyerési munkafolyamatokban
- Haladó szintű Python-adatkaparási tapasztalat BeautifulSoup, Selenium vagy hasonló eszközökkel, JavaScript/AJAX-tartalmakkal, végtelen görgetéssel és proxyalapú API-kkal
- Információ kinyerésének képessége összetett forrásokból, beleértve a hierarchiákat, az archivált oldalakat és a következetlen HTML-t
- Erős adat-tisztítási, normalizálási és validálási készségek, valamint CSV-, JSON- vagy Google Sheets-adathalmazok létrehozásában szerzett tapasztalat
- Bizonyított tapasztalat a botellenes rendszerek és a változó webhelystruktúrák nagy léptékű kezelésében
- Gyakorlati tapasztalat AWS- vagy hasonló felhőinfrastruktúrával és Docker-konténerizációval
- A LangChain, az OpenRouter vagy hasonló LLM-keretrendszerek gyakorlati használata automatizálási feladatokhoz
- Aprólékos hozzáállás a részletekhez és az adatok pontosságához
- Önálló munkavégzés, problémák kivizsgálása és megoldása szoros felügyelet nélkül
- Felső-középfokú (B2) vagy magasabb szintű angol nyelvtudás szükséges
Juttatások
- Szabadúszó együttműködés
- Aktív projektidőszakokban körülbelül heti 10–20 órás részmunkaidős terhelés
- Távoli munkavégzés
- Tapasztalati szinttől és a hozzájárulás ütemétől függően legfeljebb óránként 40 USD-nek megfelelő díjazás