A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python adatkinyerési mérnök — távoli munkavégzés a Fülöp-szigeteken
A Mindrift tapasztalt Python-mérnököt keres megbízható adatkinyerési munkafolyamatok fejlesztésére mesterségesintelligencia-projektekhez. A munkakör összetett, dinamikus webhelyekről származó strukturált adatok kinyerésére, ellenőrzésére és nagy léptékű feldolgozására összpontosít.
Leírás
- Összetett webhelyeken zajló teljes adatkinyerési folyamatok kezelése
- Átfogó, pontos és megbízható strukturált adatkészletek előállítása
- Eszközök és testre szabott munkafolyamatok alkalmazása az adatgyűjtés, az ellenőrzés és a feladatok teljesítésének felgyorsítására
- Információk gyűjtése dinamikus és interaktív forrásokból, beleértve a JavaScript által megjelenített oldalakat is
- A webhelyek viselkedésének és szerkezetének változásához igazodó adatkinyerési módszerek alkalmazása
- Az adatok minőségének megőrzése ellenőrzéssel, több forrás összevetésével, formázási szabályokkal és módszeres felülvizsgálattal
- Nagy mennyiségű adatkinyerés skálázása hatékony kötegelt feldolgozással és párhuzamos végrehajtással
- A kinyerési hibák nyomon követése és a munkafolyamat stabilitásának megőrzése kisebb webhelyváltozások esetén
Követelmények
- Legalább öt év releváns tapasztalat adataintegrációban, webes adatkinyerésben, automatizálásban vagy szoftverfejlesztésben
- Mérnöki, alkalmazott matematikai, számítástechnikai vagy kapcsolódó műszaki területen szerzett alap- vagy mesterfokú végzettség előnyt jelent
- Erős Python-alapú adatkinyerési tapasztalat BeautifulSoup, Selenium vagy hasonló eszközökkel, dinamikus tartalmakkal és proxyn keresztül elérhető API-kkal
- Információk kinyerése összetett forrásokból, például hierarchiákból, archivált oldalakról és inkonzisztens HTML-kódból
- Adatok tisztítása, normalizálása és ellenőrzése CSV, JSON vagy Google Táblázatok formátumban történő átadáshoz
- Botellenes védelmek és változó webhelyszerkezetek kezelése nagyléptékű adatkinyerési projektekben
- AWS vagy hasonló felhőinfrastruktúra, valamint Docker-alapú konténerizáció használata
- LLM-keretrendszerek, például LangChain, OpenRouter vagy hasonló eszközök alkalmazása automatizálási munkafolyamatokban
- Kiemelkedő odafigyelés a részletekre és következetes fókusz az adatok pontosságára
- Önálló munkavégzés a technikai problémák felismerésével és megoldásával
- Felső-középfokú (B2) vagy magasabb szintű angol nyelvtudás
Juttatások
- Szabadúszó projektmunka
- Részmunkaidős távoli munkavégzés
- Aktív projektidőszakokban körülbelül heti 10–20 óra
- Tapasztalati szinttől és a hozzájárulás ütemétől függően óránként legfeljebb 30 USD-nek megfelelő díjazás