Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Senior Python inženir za spletno zajemanje podatkov — samostojno delo na daljavo v Romuniji
Mindrift išče senior Python inženirja za izdelavo zanesljivih delovnih tokov za spletno zajemanje in pridobivanje podatkov za projekte umetne inteligence. Vloga je osredotočena na pretvarjanje dinamičnih spletnih mest v natančne, preverjene in strukturirane nabore podatkov.
Opis
- Upravljati celotne delovne tokove za pridobivanje podatkov iz kompleksnih spletnih mest
- Dostavljati celovite, natančne in zanesljive strukturirane nabore podatkov
- Uporabljati razpoložljiva orodja in prilagojene delovne tokove za pospešitev zbiranja podatkov, preverjanja in dokončanja nalog
- Zanesljivo zajemati podatke z dinamičnih in interaktivnih spletnih mest ter se prilagajati vsebini, upodobljeni z JavaScriptom, in spreminjajočemu se vedenju spletnih mest
- Ohranjati kakovost podatkov s preverjanjem, navzkrižnim preverjanjem virov, zahtevami glede oblikovanja in sistematičnimi pregledi
- Razširiti zajemanje velikih količin podatkov z učinkovito paketno ali vzporedno obdelavo
- Spremljati napake pri pridobivanju in ohranjati stabilnost delovnih tokov ob manjših spremembah strukture spletnih mest
- Uporabljati Apify, OpenRouter in sorodne tehnologije v delovnih tokovih za pridobivanje podatkov s spleta in obdelavo podatkov
Zahteve
- Zahteva se najmanj 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega zajemanja podatkov, avtomatizacije ali razvoja programske opreme
- Diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodne tehnične discipline je prednost
- Dobro tehnično znanje s praktičnimi izkušnjami s skriptami, avtomatizacijo in delovnimi tokovi za pridobivanje podatkov
- Napredne izkušnje s spletnim zajemanjem podatkov v Pythonu z orodji BeautifulSoup, Selenium ali primerljivimi orodji, vsebino JavaScript/AJAX, neskončnim drsenjem in API-ji, ki temeljijo na posredniških strežnikih
- Sposobnost pridobivanja informacij iz kompleksnih virov, vključno s hierarhijami, arhiviranimi stranmi in nedoslednim HTML-jem
- Odlično znanje čiščenja, normalizacije in preverjanja podatkov ter izkušnje z izdelavo naborov podatkov v oblikah CSV, JSON ali Google Sheets
- Dokazane izkušnje z obravnavanjem sistemov proti botom in spreminjajočih se struktur spletnih mest v velikem obsegu
- Praktične izkušnje z AWS ali primerljivo infrastrukturo v oblaku in kontejnerizacijo Docker
- Praktična uporaba LangChaina, OpenRouterja ali podobnih ogrodij LLM za avtomatizacijske naloge
- Natančen pristop k podrobnostim in točnosti podatkov
- Sposobnost samostojnega dela, raziskovanja težav in njihovega reševanja brez tesnega nadzora
- Zahteva se znanje angleščine na višji srednji ravni (B2) ali višji
Ugodnosti
- Samostojno pogodbeno delo
- Delo s krajšim delovnim časom, približno 10–20 ur na teden v aktivnih obdobjih projekta
- Delo na daljavo
- Plačilo do protivrednosti 40 USD na uro, odvisno od ravni izkušenj in hitrosti prispevka