Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Starejši Python inženir za spletno pridobivanje podatkov — delo po pogodbi, delo na daljavo iz Poljske
Mindrift išče starejšega Python inženirja za vzpostavitev zanesljivih delovnih tokov za spletno pridobivanje podatkov za projekte umetne inteligence. Vloga je osredotočena na pridobivanje, preverjanje in obdelavo strukturiranih podatkov s kompleksnih in dinamičnih spletnih mest.
Opis
- Upravljanje celovitih delovnih tokov za pridobivanje podatkov na kompleksnih spletnih mestih
- Zagotavljanje celovitih, natančnih in zanesljivih strukturiranih podatkovnih zbirk
- Uporaba orodij in prilagojenih delovnih tokov za pospešitev zbiranja, preverjanja in izvajanja nalog
- Zanesljivo pridobivanje podatkov iz interaktivnih in dinamičnih spletnih virov
- Prilagajanje metod spletnega pridobivanja vsebini, ki jo upodablja JavaScript, in spreminjajočemu se vedenju spletnih mest
- Ohranjanje kakovosti podatkov s preverjanjem, primerjavami med viri, standardi oblikovanja in sistematičnim pregledom
- Obvladovanje spletnega pridobivanja v velikem obsegu z učinkovito paketno in vzporedno obdelavo
- Sledenje neuspelim pridobivanjem in ohranjanje stabilnosti ob manjših spremembah strukture spletnih mest
- Uporaba tehnologij Apify, OpenRouter in sorodnih tehnologij za pridobivanje podatkov s spleta in obdelavo podatkov
Zahteve
- Več kot 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega pridobivanja podatkov, avtomatizacije ali razvoja programske opreme
- Diploma dodiplomskega ali podiplomskega študija inženirstva, uporabne matematike, računalništva ali sorodne tehnične discipline je prednost
- Močna praktična podlaga na področju skriptiranja, avtomatizacije in delovnih tokov za pridobivanje podatkov
- Napredne izkušnje s pridobivanjem podatkov v Pythonu z orodji BeautifulSoup, Selenium ali primerljivimi orodji, vsebino JavaScript in AJAX, neskončnim drsenjem ter API-ji, ki temeljijo na posredniških strežnikih
- Sposobnost pridobivanja informacij iz kompleksnih hierarhij, arhiviranih strani in nekonsistentnega HTML-ja
- Izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za dostavo v formatih CSV, JSON in Google Sheets
- Izkušnje s sistemi proti botom in spreminjajočimi se strukturami spletnih mest v velikem obsegu
- Praktične izkušnje z uporabo AWS ali enakovredne oblačne infrastrukture in Dockerja v produkcijskih delovnih tokovih
- Praktična uporaba LangChaina, OpenRouterja ali podobnih ogrodij LLM za avtomatizacijo
- Velika pozornost do podrobnosti in močna osredotočenost na natančnost podatkov
- Samostojen način dela s sposobnostjo raziskovanja in reševanja težav brez tesnega nadzora
- Angleščina na višji srednji ravni (B2) ali višji
- Profil na GitHubu je prednost
Ugodnosti
- Projektno delo po pogodbi
- Delo s krajšim delovnim časom, približno 10 do 20 ur na teden v aktivnih fazah projekta
- Delo na daljavo iz Poljske
- Plačilo do protivrednosti 40 USD na uro, odvisno od ravni izkušenj in hitrosti prispevanja