Mindrift je trhovisko talentov v oblasti umelej inteligencie a platforma SaaS, ktorá spája profesionálnych prispievateľov a odborníkov na konkrétne oblasti s projektmi technologických spoločností zameranými na trénovanie a hodnotenie umelej inteligencie. Ako súčasť spoločnosti Toloka spolupracuje so spisovateľmi, editormi, špecialistami na kontrolu kvality, vedcami a ďalšími odborníkmi, ktorí pomáhajú vytvárať tréningové údaje, posudzovať bezpečnosť a uvažovanie modelov, hodnotiť kvalitu médií a vytvárať scenáre z reálneho sveta na zlepšenie výkonu a spoľahlivosti umelej inteligencie. Mindrift získava a overuje prispievateľov prostredníctvom hodnotení a overovania identity a následne ponúka flexibilné platené projektové príležitosti v oblasti trénovania a hodnotenia umelej inteligencie.
Višji inženir za zajem podatkov v Pythonu v Italiji (delo na daljavo)
Pridružite se projektu Tendem AI podjetja Mindrift in razvijajte zanesljive cevovode za spletno pridobivanje podatkov in strukturiranih podatkov. Delo je osredotočeno na dinamična spletna mesta, preverjanje podatkov, razširljivo pridobivanje in avtomatizacijo.
Popis
- Vodite celotne postopke pridobivanja podatkov z zahtevnih spletnih mest ter zagotavljajte celovite, natančne in zanesljive strukturirane zbirke podatkov
- Uporabljajte razpoložljive platforme in prilagojene delovne postopke za pospešitev zbiranja, preverjanja in dokončanja nalog v skladu z določenimi zahtevami
- Prilagajajte metode pridobivanja podatkov za strani, upodobljene z JavaScriptom, interaktivne vire in spreminjajoče se vedenje spletnih mest
- Ohranjajte kakovost podatkov s preverjanjem, navzkrižnimi primerjavami virov, nadzorom oblikovanja in strukturiranim pregledom pred oddajo
- Povečujte zmogljivost spletnega pridobivanja podatkov za velike zbirke z učinkovitim paketnim in vzporednim obdelovanjem
- Spremljajte napake pri pridobivanju podatkov in ohranjajte zanesljivost delovanja ob spreminjanju struktur spletnih mest
- Uporabite strokovno znanje s področja spletnega pridobivanja, ekstrakcije in obdelave podatkov pri projektu Tendem
- Združite tehnično presojo z orodji Apify, OpenRouter in drugimi orodji za razvoj učinkovitih prilagojenih rešitev
Požiadavky
- Zahtevanih je najmanj 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega pridobivanja podatkov, avtomatizacije ali razvoja programske opreme
- Diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodne tehnične smeri je prednost
- Napredno znanje pridobivanja podatkov v Pythonu z orodji BeautifulSoup, Selenium ali primerljivimi orodji, dinamično vsebino in posredniškimi API-ji
- Sposobnost pridobivanja podatkov iz zapletenih virov, kot so hierarhije, arhivirane strani in nedosleden HTML
- Izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za dostavo v oblikah CSV, JSON ali Google Sheets
- Praktične izkušnje z upravljanjem zaščit pred boti in spreminjajočimi se strukturami spletnih mest v velikem obsegu
- Poznavanje AWS ali primerljive oblačne infrastrukture ter kontejnerizacije na osnovi Dockerja
- Praktične izkušnje z uporabo LangChain, OpenRouter ali podobnih ogrodij LLM za avtomatizacijo
- Izjemna pozornost do podrobnosti in močna osredotočenost na natančnost podatkov
- Sposobnost samostojnega dela, raziskovanja težav in njihovega reševanja brez tesnega nadzora
- Zahtevano je znanje angleščine na višji vmesni ravni (B2) ali višje
- Povezava do profila na GitHubu je prednost
Benefity
- Sodelovanje na podlagi samostojnega pogodbenega dela
- Delo na daljavo s krajšim delovnim časom
- Pričakovana obremenitev je 10–20 ur tedensko v aktivnih obdobjih projekta