A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python adatkaparó mérnök (szabadúszó, távoli munkavégzés Szaúd-Arábiában)
Senior Python mérnök, aki skálázható adatkaparási munkafolyamatokat fejleszt a Mindrift Tendem AI projektjéhez. A munkakör összetett webes adatok Python és automatizálási eszközök segítségével történő kinyerésére, ellenőrzésére és strukturálására összpontosít.
Leírás
- A Mindrift Tendem projektjének és valós alkalmazásainak speciális adatkaparási munkafolyamatainak vezetése
- Webhelyeken átívelő, teljes körű adatkinyerési folyamatok kezelése
- Teljes körű, pontos, megbízható és jól strukturált adatkészletek előállítása
- Az Apify, az OpenRouter és egyedi munkafolyamatok alkalmazása az adatgyűjtés, az ellenőrzés és a feladatvégrehajtás egyszerűsítésére
- Adatok kinyerése dinamikus, interaktív forrásokból, alkalmazkodva a JavaScript által renderelt tartalmakhoz és a webhelyek változó működéséhez
- Az adatok minőségének biztosítása ellenőrzésekkel, források közötti összehasonlításokkal, formázási kontrollokkal és szisztematikus validálással
- Nagy volumenű adatkaparás skálázása hatékony kötegeléssel és párhuzamos feldolgozással
- A hibák kivizsgálása és a folyamat stabilitásának megőrzése kisebb webhelystruktúra-változások esetén
- Összetett szkriptelési, automatizálási, adatkinyerési, adatszerkezetezési és validálási kihívások önálló megoldása
Követelmények
- Legalább 5 év releváns tapasztalat adatmérnöki, webes adatkaparási, automatizálási vagy szoftverfejlesztési területen
- Legalább középfelsőfokú (B2) angol nyelvtudás
- Haladó Python-adatkaparási tapasztalat a BeautifulSoup, a Selenium vagy hasonló eszközök, dinamikus JavaScript/AJAX-tartalmak, végtelen görgetés és proxyszerver-alapú API-k használatában
- Összetett hierarchiákból, archivált oldalakról és következetlen HTML-ből történő információkinyerési képesség
- Az adattisztítás, normalizálás és validálás alapos ismerete
- Gyakorlati tapasztalat botvédelmi megoldások és változó webhelystruktúrák nagy léptékű kezelésében
- AWS- vagy hasonló felhőinfrastruktúrával szerzett tapasztalat
- Alkalmazások Dockerrel történő csomagolásában szerzett tapasztalat
- A LangChain, az OpenRouter vagy hasonló LLM-keretrendszerek gyakorlati használata automatizáláshoz
- Nagyfokú figyelem a részletekre és erős összpontosítás az adatok pontosságára
- Önálló, kezdeményező munkavégzés és magabiztos hibakeresés
- A mérnöki tudományok, alkalmazott matematika, számítástechnika vagy kapcsolódó műszaki terület alapképzésén vagy mesterképzésén szerzett diploma előnyt jelent
- GitHub-profil hivatkozása előnyt jelent
Juttatások
- Rugalmas, részmunkaidős szabadúszó együttműködés
- Aktív projektidőszakokban heti 10–20 óra várható munkaterhelés
- Tapasztalati szinttől és a hozzájárulás ütemétől függően óránként legfeljebb 37 amerikai dollárnak megfelelő díjazás
- Lehetőség innovatív mesterségesintelligencia- és technológiafejlesztési projektekben való közreműködésre
- Teljesen távoli munkavégzés