Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji inženir za strganje podatkov v Pythonu v Italiji (delo na daljavo)
Pridružite se projektu Tendem AI podjetja Mindrift in gradite zanesljive cevovode za spletno strganje in strukturirane podatke. Vloga je osredotočena na dinamična spletna mesta, preverjanje podatkov, razširljivo pridobivanje in avtomatizacijo.
Opis
- Vodite celotne postopke pridobivanja podatkov z zahtevnih spletnih mest ter zagotavljajte celovite, natančne in zanesljive strukturirane zbirke podatkov
- Uporabljajte razpoložljive platforme in prilagojene delovne postopke za pospešitev zbiranja, preverjanja in dokončanja nalog v skladu z določenimi zahtevami
- Prilagajajte metode pridobivanja podatkov za strani, upodobljene z JavaScriptom, interaktivne vire in spreminjajoče se vedenje spletnih mest
- Ohranjajte kakovost podatkov s preverjanjem, navzkrižnimi primerjavami virov, nadzorom oblikovanja in strukturiranim pregledom pred oddajo
- Povečujte zmogljivost spletnega strganja za velike zbirke podatkov z učinkovitim paketnim in vzporednim obdelovanjem
- Spremljajte napake pri pridobivanju podatkov in ohranjajte zanesljivost delovanja ob spreminjanju struktur spletnih mest
- Uporabite strokovno znanje s področja spletnega strganja, pridobivanja in obdelave podatkov pri projektu Tendem
- Združite tehnično presojo z orodji Apify, OpenRouter in drugimi orodji za razvoj učinkovitih prilagojenih rešitev
Zahteve
- Zahtevanih je najmanj 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega strganja, avtomatizacije ali razvoja programske opreme
- Diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodne tehnične smeri je prednost
- Napredno znanje strganja podatkov v Pythonu z orodji BeautifulSoup, Selenium ali primerljivimi orodji, dinamično vsebino in posredniškimi API-ji
- Sposobnost pridobivanja podatkov iz zapletenih virov, kot so hierarhije, arhivirane strani in nedosleden HTML
- Izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za dostavo v oblikah CSV, JSON ali Google Sheets
- Praktične izkušnje z upravljanjem zaščit pred boti in spreminjajočimi se strukturami spletnih mest v velikem obsegu
- Poznavanje AWS ali primerljive oblačne infrastrukture ter kontejnerizacije na osnovi Dockerja
- Praktične izkušnje z uporabo LangChain, OpenRouter ali podobnih ogrodij LLM za avtomatizacijo
- Izjemna pozornost do podrobnosti in močna osredotočenost na natančnost podatkov
- Sposobnost samostojnega dela, raziskovanja težav in njihovega reševanja brez tesnega nadzora
- Zahtevano je znanje angleščine na višji vmesni ravni (B2) ali višje
- Povezava do profila na GitHubu je prednost
Ugodnosti
- Sodelovanje na podlagi samostojnega pogodbenega dela
- Delo na daljavo s krajšim delovnim časom
- Pričakovana obremenitev je 10–20 ur tedensko v aktivnih obdobjih projekta