Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za spletno strganje — Srbija, delo na daljavo, krajši delovni čas
Višji Python inženir je odgovoren za vzpostavljanje zanesljivih delovnih tokov za spletno strganje in obdelavo podatkov za Mindriftov projekt Tendem AI. Vloga je osredotočena na pridobivanje, preverjanje in povečevanje obsega strukturiranih podatkovnih zbirk s kompleksnih dinamičnih spletnih mest.
Opis
- Upravljajte celovite delovne tokove pridobivanja podatkov s kompleksnih spletnih mest ter zagotavljajte popolne, natančne in zanesljive strukturirane podatkovne zbirke.
- Uporabljajte razpoložljiva orodja in prilagojene delovne tokove za pospešitev zbiranja, preverjanja in dokončanja nalog v skladu z opredeljenimi zahtevami.
- Zanesljivo pridobivajte podatke iz dinamičnih in interaktivnih virov ter se prilagajajte vsebini, izrisani z JavaScriptom, in spreminjajočemu se vedenju spletnih mest.
- Kakovost podatkov ohranjajte s preverjanji, primerjavami med viri, nadzorom oblikovanja in sistematičnim preverjanjem pred predajo.
- Spletno strganje velikih količin podatkov povečujte z učinkovito paketno ali vzporedno obdelavo, spremljajte napake in ohranjajte stabilnost ob manjših spremembah spletnih mest.
- Na projektu Tendem uporabljajte strokovno znanje s področij spletnega strganja, pridobivanja podatkov in obdelave podatkov.
- Delajte z orodji Apify, OpenRouter in drugimi ustreznimi tehnologijami.
Zahteve
- Pet ali več let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega strganja, avtomatizacije ali razvoja programske opreme.
- Prednost predstavlja diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodne tehnične discipline.
- Odlične izkušnje s spletnim strganjem v Pythonu ter z orodji BeautifulSoup, Selenium ali podobnimi orodji, vključno z JavaScriptom, AJAX-om, neskončnim drsenjem in dostopom do API-jev prek posredniškega strežnika.
- Sposobnost pridobivanja informacij iz kompleksnih struktur, kot so hierarhije, arhivirane strani in nedosleden HTML.
- Temeljite izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za predajo v strukturiranih formatih, vključno s CSV, JSON in Google Sheets.
- Praktične izkušnje z upravljanjem zaščit pred boti in spreminjajočih se struktur spletnih mest v velikem obsegu.
- Izkušnje z AWS ali enakovredno infrastrukturo v oblaku ter Dockerjem v produkcijskih ali projektnih delovnih tokovih.
- Praktične izkušnje z uporabo ogrodij LLM, kot so LangChain, OpenRouter ali podobna orodja, pri nalogah avtomatizacije.
- Izjemna pozornost do podrobnosti in močna zavezanost natančnosti podatkov.
- Samostojen pristop in sposobnost neodvisnega odpravljanja težav.
- Zahtevano je znanje angleščine na višji srednji ravni B2 ali višji.
- Profil na GitHubu je prednost.
Ugodnosti
- Freelance sodelovanje.
- Delo na daljavo s krajšim delovnim časom.
- Ocenjenih 10–20 ur na teden v aktivnih fazah projekta.