Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za spletno strganje podatkov (delo po pogodbi, na daljavo iz Argentine)
Ustvarjajte zanesljive sisteme za strganje podatkov v Pythonu za projekte umetne inteligence podjetja Mindrift. Pridobivajte, preverjajte in povečujte obseg strukturiranih podatkov s kompleksnih in dinamičnih spletnih mest.
Opis
- Vodite celotne delovne tokove za pridobivanje podatkov s kompleksnih spletnih mest
- Zagotavljajte celovite, točne in zanesljive strukturirane nabore podatkov
- Kombinirajte razpoložljiva orodja s prilagojenimi delovnimi tokovi za izboljšanje zbiranja, preverjanja in izvajanja nalog
- Zbirajte podatke iz dinamičnih in interaktivnih virov ter se prilagajajte vsebini, ki jo upodablja JavaScript, in spreminjajočemu se vedenju spletnih mest
- Ohranjajte kakovost podatkov s preverjanjem, navzkrižnimi preverjanji med viri, standardi oblikovanja in sistematičnim pregledom
- Povečujte obseg strganja velikih količin podatkov z učinkovito paketno in vzporedno obdelavo
- Spremljajte napake pri pridobivanju in ohranjajte zanesljivost delovnih tokov ob spremembah struktur spletnih mest
- Uporabljajte Apify, OpenRouter in sorodne tehnologije skupaj z dobrim tehničnim presojanjem
Zahteve
- Vsaj 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega strganja podatkov, avtomatizacije ali razvoja programske opreme
- Napredne izkušnje s strganjem podatkov v Pythonu z orodji BeautifulSoup, Selenium ali primerljivimi orodji, vsebino JavaScript in AJAX, neskončnim drsenjem ter API-ji, ki temeljijo na posredniških strežnikih
- Sposobnost pridobivanja informacij iz hierarhičnih podatkov, arhiviranih strani in nepravilnih struktur HTML
- Izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za dostavo v oblikah CSV, JSON ali Google Sheets
- Praktične izkušnje pri premagovanju zaščite pred boti in spreminjajočih se struktur spletnih mest v velikem obsegu
- Izkušnje z AWS ali primerljivo infrastrukturo v oblaku ter kontejnerizacijo na osnovi Dockerja
- Praktično poznavanje LangChain, OpenRouter ali podobnih ogrodij LLM za avtomatizacijo
- Velika pozornost do podrobnosti in močna osredotočenost na točnost podatkov
- Sposobnost samostojnega dela, preiskovanja težav in njihovega reševanja brez tesnega nadzora
- Angleščina na višji srednji ravni (B2) ali višji
- Diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodnega tehničnega področja je prednost
- Profil ali povezava do GitHuba je prednost
Ugodnosti
- Delo po pogodbi
- Delo s krajšim delovnim časom, približno 10–20 ur tedensko v aktivnih fazah projekta
- Delo na daljavo iz Argentine
- Priložnost za sodelovanje pri inovativnih tehnoloških projektih prek platforme Mindrift