A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python Adatkinyerési Mérnök (Szabadúszó, Távmunka Svédországból)
A Mindrift tapasztalt Python-mérnököt keres megbízható adatkinyerési munkafolyamatok fejlesztésére mesterségesintelligencia-projektekhez. A munkakör összetett és dinamikus webhelyek strukturált adatainak kinyerésére, ellenőrzésére és nagy léptékű feldolgozására összpontosít.
Leírás
- Összetett webhelyeken végzett teljes körű adatkinyerési munkafolyamatok irányítása
- Átfogó, pontos és megbízható strukturált adatkészletek biztosítása
- A rendelkezésre álló eszközök és testreszabott munkafolyamatok alkalmazása az adatgyűjtés, az ellenőrzés és a feladatok elvégzésének felgyorsítására
- Adatgyűjtés dinamikus, interaktív webhelyekről a JavaScript által megjelenített tartalmakhoz és a változó webhelyviselkedéshez való alkalmazkodással
- Az adatok minőségének védelme ellenőrzésekkel, források közötti összehasonlításokkal, formázási szabványokkal és rendszeres validálással
- Nagy mennyiségű adatkinyerés skálázása hatékony kötegelt feldolgozással és párhuzamos feldolgozással
- A kinyerési hibák nyomon követése és a rendszer stabilitásának megőrzése kisebb webhelystruktúra-változások esetén
- Az Apify, az OpenRouter és más releváns technológiák alkalmazása erős műszaki ítélőképességgel kombinálva
Követelmények
- Legalább öt év releváns tapasztalat adatengineering, webes adatkinyerés, automatizálás vagy szoftverfejlesztés területén
- Haladó Python-adatkinyerési tapasztalat BeautifulSoup, Selenium vagy hasonló eszközökkel, valamint dinamikus tartalmakkal, például JavaScripttel, AJAX-szal és végtelen görgetéssel, továbbá proxyalapú API-kkal
- Képesség információk kinyerésére összetett struktúrákból, beleértve a hierarchiákat, archivált oldalakat és inkonzisztens HTML-t
- Tapasztalat adatok tisztításában, normalizálásában és ellenőrzésében strukturált CSV-, JSON- vagy Google Sheets-kimenetekhez
- Gyakorlati tapasztalat botvédelmi megoldások és változó webhelystruktúrák nagy léptékű kezelésében
- AWS vagy hasonló felhőinfrastruktúra, valamint Docker-konténerek használatának tapasztalata éles munkafolyamatokban
- Gyakorlati tapasztalat LLM-keretrendszerek, például a LangChain, az OpenRouter vagy hasonló eszközök automatizálásban való alkalmazásában
- Erős figyelem a részletekre, következetes összpontosítással az adatok pontosságára
- Önálló, kezdeményező hozzáállás a hibaelhárításhoz és problémamegoldáshoz
- Felső-középfokú (B2) vagy magasabb szintű angol nyelvtudás
- Mérnöki, alkalmazott matematikai, számítástechnikai vagy kapcsolódó műszaki területen szerzett alap- vagy mesterfokú végzettség előnyt jelent
- GitHub-profil előnyt jelent
Juttatások
- Szabadúszó megbízás
- Részmunkaidős távmunka
- Aktív projektfázisokban heti becsült 10–20 óra