Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za spletno pridobivanje podatkov (delo po pogodbi, delo na daljavo na Švedskem)
Mindrift išče višjega Python inženirja za izdelavo zanesljivih postopkov spletnega pridobivanja podatkov za projekte umetne inteligence. Vloga je osredotočena na pridobivanje, preverjanje in povečanje obsega strukturiranih podatkov s kompleksnih in dinamičnih spletnih mest.
Opis
- Vodenje celovitih postopkov pridobivanja podatkov s kompleksnih spletnih mest
- Zagotavljanje celovitih, natančnih in zanesljivih strukturiranih podatkovnih nizov
- Uporaba razpoložljivih orodij in prilagojenih postopkov za pospešitev zbiranja in preverjanja podatkov ter dokončanja nalog
- Zbiranje podatkov z dinamičnih in interaktivnih spletnih mest ter prilagajanje vsebini, upodobljeni z JavaScriptom, in spreminjajočemu se vedenju spletnih mest
- Varovanje kakovosti podatkov s preverjanji veljavnosti, primerjavami med viri, standardi oblikovanja in sistematičnim preverjanjem
- Povečevanje obsega pridobivanja velikih količin podatkov z učinkovito paketno in vzporedno obdelavo
- Sledenje napakam pri pridobivanju in ohranjanje stabilnosti sistema ob manjših spremembah strukture spletnih mest
- Uporaba Apifyja, OpenRouterja in drugih ustreznih tehnologij v povezavi z dobro tehnično presojo
Zahteve
- Najmanj pet let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega pridobivanja podatkov, avtomatizacije ali razvoja programske opreme
- Napredne izkušnje s pridobivanjem podatkov v Pythonu z orodji BeautifulSoup, Selenium ali primerljivimi orodji, z dinamično vsebino, kot so JavaScript, AJAX in neskončno drsenje, ter z API-ji, ki temeljijo na posredniških strežnikih
- Sposobnost pridobivanja informacij iz kompleksnih struktur, vključno s hierarhijami, arhiviranimi stranmi in nedoslednim HTML-jem
- Izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za strukturirane izhode v oblikah CSV, JSON ali Google Sheets
- Praktične izkušnje z upravljanjem zaščit pred boti in spreminjajočih se struktur spletnih mest v velikem obsegu
- Izkušnje z uporabo AWS ali primerljive oblačne infrastrukture in vsebnikov Docker v produkcijskih postopkih
- Praktične izkušnje z uporabo ogrodij LLM, kot so LangChain, OpenRouter ali podobna orodja, za avtomatizacijo
- Izjemna pozornost do podrobnosti in dosleden poudarek na natančnosti podatkov
- Samostojen in samoiniciativen pristop k odpravljanju težav in reševanju problemov
- Angleščina na višji vmesni ravni (B2) ali višji
- Diploma prve ali druge stopnje iz inženirstva, uporabne matematike, računalništva ali sorodne tehnične discipline je prednost
- Profil GitHub je prednost
Ugodnosti
- Delo po pogodbi
- Delo na daljavo s krajšim delovnim časom
- Ocenjenih 10 do 20 ur tedensko v aktivnih fazah projekta