A Mindrift mesterségesintelligencia-tehetségek piactere és SaaS-platformja, amely technológiai vállalatok mesterségesintelligencia-képzési és -értékelési projektjeivel kapcsolja össze a professzionális közreműködőket és szakterületi szakértőket. A Toloka részeként írókkal, szerkesztőkkel, minőségbiztosítási szakemberekkel, tudósokkal és más szakterületi szakértőkkel dolgozik együtt. Ezek a szakemberek képzési adatokat hoznak létre, értékelik a modellek biztonságát és következtetési képességét, vizsgálják a médiatartalmak minőségét, valamint valós helyzeteken alapuló forgatókönyveket készítenek a mesterséges intelligencia teljesítményének és megbízhatóságának javítására. A Mindrift felmérésekkel és személyazonosság-ellenőrzéssel választja ki és ellenőrzi a közreműködőket, majd rugalmas, fizetett projektlehetőségeket kínál a mesterséges intelligencia képzéséhez és értékeléséhez kapcsolódóan.
Senior Python-adatgyűjtő mérnök — Szabadúszó, távoli munkavégzés Indiából
A Mindrift senior Python-mérnököt keres strukturált webes adatfolyamatok kinyerésére, validálására és skálázására a Tendem AI-projektben. A munkakör Python-, felhőinfrastruktúra-, Docker- és LLM-alapú automatizálási keretrendszerek használatát foglalja magában.
Leírás
- Teljes körű adatkinyerési munkafolyamatok kezelése összetett webhelyeken
- Strukturált adathalmazok szállítása átfogó lefedettséggel, magas pontossággal és megbízható átfutási idővel
- Speciális eszközök és testreszabott munkafolyamatok használata az adatgyűjtés, a validálás és a feladatvégrehajtás felgyorsítására
- Információk lekérése dinamikus és interaktív forrásokból, beleértve a JavaScript által megjelenített oldalakat is
- A webhelyek viselkedésének és oldalszerkezetének változásakor a scraping módszereinek módosítása
- Az adatminőség fenntartása validálással, több forrás összevetésével, formázási szabványokkal és szisztematikus ellenőrzéssel
- Nagy volumenű scraping skálázása hatékony kötegelt feldolgozással és párhuzamos feldolgozással
- A hibák nyomon követése, valamint a megbízható és stabil scrapingműveletek támogatása
- A Python, a webes scraping, az adatkinyerés és az adatfeldolgozás terén szerzett szakértelem alkalmazása a Tendem projektben
Követelmények
- Legalább 5 év releváns tapasztalat adat engineering, webes scraping, automatizálás vagy szoftverfejlesztés területén
- Mérnöki, alkalmazott matematikai, számítástechnikai vagy kapcsolódó műszaki területen szerzett alap- vagy mesterdiploma előnyt jelent
- Erős gyakorlati alapok szkriptelésben, automatizálásban és adatkinyerési munkafolyamatokban
- Haladó szintű Python-scraping tapasztalat BeautifulSoup, Selenium vagy hasonló eszközökkel, dinamikus tartalmakkal és proxyalapú API-kkal
- Képesség információk kinyerésére összetett struktúrákból, beleértve a hierarchiákat, az archivált oldalakat és az inkonzisztens HTML-t
- Jelentős tapasztalat adattisztításban, normalizálásban és validálásban
- Gyakorlati tapasztalat botellenes védelmek és dinamikus webhelystruktúrák nagy léptékű kezelésében
- AWS vagy hasonló felhőinfrastruktúra és Docker-konténerizáció használatában szerzett tapasztalat
- A LangChain, az OpenRouter vagy hasonló LLM-keretrendszerek gyakorlati használata automatizáláshoz
- Aprólékos hozzáállás az adatok pontosságához és minőségéhez
- Önálló munkavégzés, hibaelhárítás és a feladatok proaktív kezelése
- Felső-középfokú (B2) vagy magasabb szintű angol nyelvtudás
- GitHub-link előnyt jelent
Juttatások
- Szabadúszó együttműködés
- Részmunkaidős távoli munkavégzés Indiából
- Aktív projektfázisokban körülbelül heti 10–20 óra
- Lehetőség technológiai projekteken való munkára a Mindrift platformján keresztül
- Tapasztalati szinttől és a hozzájárulás ütemétől függően óránként legfeljebb 30 amerikai dollárnak megfelelő díjazás