A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python adatkinyerési mérnök — szabadúszó, távoli munkavégzés Lengyelországból
A Mindrift senior Python mérnököt keres megbízható webes adatkinyerési munkafolyamatok fejlesztésére AI-projektekhez. A munkakör összetett és dinamikus webhelyekről származó strukturált adatok kinyerésére, ellenőrzésére és feldolgozására összpontosít.
Leírás
- Teljes körű adatkinyerési munkafolyamatok kezelése összetett webhelyeken
- Átfogó, pontos és megbízható strukturált adatkészletek biztosítása
- Eszközök és testre szabott munkafolyamatok alkalmazása a gyűjtés, az ellenőrzés és a feladatvégrehajtás felgyorsítására
- Adatok megbízható kinyerése interaktív és dinamikus webes forrásokból
- Az adatkinyerési módszerek hozzáigazítása a JavaScript által renderelt tartalmakhoz és a változó webhelyviselkedéshez
- Az adatminőség fenntartása ellenőrzéssel, több forrás összevetésével, formázási szabványokkal és rendszeres felülvizsgálattal
- Nagy léptékű adatkinyerés kezelése hatékony kötegelt és párhuzamos feldolgozással
- A kinyerési hibák nyomon követése és a stabilitás megőrzése kisebb webhelystruktúra-változások esetén
- Az Apify, az OpenRouter és kapcsolódó technológiák alkalmazása webes adatkinyeréshez és adatfeldolgozáshoz
Követelmények
- Legalább 5 év releváns tapasztalat adatmérnöki, webes adatkinyerési, automatizálási vagy szoftverfejlesztési területen
- Mérnöki, alkalmazott matematikai, informatikai vagy kapcsolódó műszaki területen szerzett alap- vagy mesterfokozat előnyt jelent
- Erős gyakorlati alapok szkriptelésben, automatizálásban és adatkinyerési munkafolyamatokban
- Haladó Python-adatkinyerési tapasztalat a BeautifulSoup, a Selenium vagy hasonló eszközök, JavaScript- és AJAX-tartalmak, végtelen görgetés, valamint proxyalapú API-k használatával
- Összetett hierarchiákból, archivált oldalakról és inkonzisztens HTML-ből történő információkinyerési képesség
- Tapasztalat adatok tisztításában, normalizálásában és ellenőrzésében CSV, JSON és Google Sheets formátumú átadáshoz
- Tapasztalat botellenes rendszerekkel és változó webhelystruktúrákkal végzett, nagy léptékű munkában
- Gyakorlati tapasztalat AWS vagy azzal egyenértékű felhőinfrastruktúra, valamint Docker használatában éles munkafolyamatokban
- A LangChain, az OpenRouter vagy hasonló LLM-keretrendszerek gyakorlati használata automatizáláshoz
- Kiemelkedő figyelem a részletekre és erős elkötelezettség az adatok pontossága iránt
- Önálló munkavégzés, a problémák közvetlen felügyelet nélküli kivizsgálásának és megoldásának képességével
- Felső-középfokú (B2) vagy magasabb szintű angol nyelvtudás
- A GitHub-profil előnyt jelent
Juttatások
- Szabadúszó projekt keretében végzett munka
- Aktív projektfázisokban hozzávetőleg heti 10–20 órás részmunkaidős terhelés
- Távoli munkavégzés Lengyelországból
- Tapasztalati szinttől és a hozzájárulás ütemétől függően legfeljebb óránként 40 amerikai dollárnak megfelelő díjazás