Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za spletno zajemanje podatkov (samostojno delo, delo na daljavo iz Portugalske)
Ustvarjajte zanesljive cevovode za spletno zajemanje in obdelavo podatkov za projekt Tendem AI podjetja Mindrift. Izluščite, preverjajte in povečujte strukturirane nabore podatkov s kompleksnih in dinamičnih spletnih mest.
Opis
- Upravljajte celoten postopek pridobivanja podatkov s kompleksnih spletnih mest ter zagotavljajte popolne, točne in zanesljive strukturirane nabore podatkov
- Uporabljajte orodja in prilagojene delovne postopke za pospešitev zbiranja podatkov, preverjanja in dokončanja nalog
- Zbirajte podatke iz dinamičnih in interaktivnih virov ter se prilagajajte vsebini, ki jo upodablja JavaScript, in spreminjajočemu se vedenju spletnih mest
- Ohranjajte kakovost podatkov s preverjanji, primerjavami med viri, zahtevami glede oblikovanja in sistematičnim pregledom
- Razširjajte postopke spletnega zajemanja za velike nabore podatkov z učinkovito paketno ali vzporedno obdelavo
- Spremljajte napake pri pridobivanju in ohranjajte stabilnost ob manjših strukturnih spremembah spletnih mest
- Uporabljajte strokovno znanje s področij spletnega zajemanja, pridobivanja in obdelave podatkov v specializiranih delovnih postopkih projekta Tendem
Zahteve
- Imate vsaj pet let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega zajemanja, avtomatizacije ali razvoja programske opreme
- Obvladate spletno zajemanje s Pythonom ter orodji BeautifulSoup, Selenium ali primerljivimi orodji, JavaScript in AJAX vsebino, neskončno drsenje, API-je in posredniške strežnike
- Znate pridobivati informacije iz kompleksnih hierarhij, arhiviranih strani in nedoslednega HTML-ja
- Imate dobre temelje na področju čiščenja, normalizacije in preverjanja podatkov ter izkušnje z ustvarjanjem strukturiranih naborov podatkov v formatih CSV, JSON in Google Sheets
- Imate izkušnje z upravljanjem zaščit pred boti in spreminjajočimi se strukturami spletnih mest v velikem obsegu
- Imate izkušnje z AWS ali primerljivo oblačno infrastrukturo in kontejnerizacijo na osnovi Dockerja
- Imate praktične izkušnje z uporabo ogrodij LLM, kot so LangChain, OpenRouter ali podobna orodja, pri nalogah avtomatizacije
- Delate z veliko pozornostjo do podrobnosti in doslednim osredotočanjem na točnost podatkov
- Delate samostojno, prevzemate odgovornost za odpravljanje težav in ohranjate samoiniciativen pristop
- Angleščino obvladate na ravni Upper-intermediate (B2) ali višji
- Diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodne tehnične discipline je prednost
- Povezava do profila na GitHubu je prednost
Ugodnosti
- Samostojno pogodbeno sodelovanje
- Ocenjen obseg dela s krajšim delovnim časom, 10–20 ur tedensko v aktivnih fazah projekta
- Delo na daljavo
- Priložnost za delo na inovativnih tehnoloških projektih prek platforme Mindrift