Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za spletno pridobivanje podatkov - delo na daljavo s krajšim delovnim časom
Vodite zanesljivo pridobivanje spletnih podatkov in dostavo strukturiranih podatkov za tehnološke projekte umetne inteligence podjetja Mindrift. Avtomatizirajte pridobivanje, preverjanje in razširljivo obdelavo podatkov na kompleksnih in dinamičnih spletnih mestih.
Opis
- Vodite pridobivanje podatkov od začetka do konca na kompleksnih spletnih mestih
- Dostavljajte popolne, točne in zanesljive strukturirane nabore podatkov
- Uporabljajte orodja in prilagojene delovne tokove za pospešitev zbiranja, preverjanja in izvajanja nalog
- Pridobivajte podatke iz dinamičnih spletnih virov ter se prilagajajte vsebini JavaScript in spreminjajočemu se vedenju spletnih mest
- Ohranjajte kakovost podatkov s preverjanjem, nadzorom skladnosti, nadzorom oblikovanja in sistematičnim preverjanjem
- Razširite pridobivanje velikih količin podatkov z učinkovito paketno in vzporedno obdelavo
- Spremljajte napake in ohranjajte stabilnost ob manjših spremembah strukture spletnih mest
- Uporabljajte Apify, OpenRouter in povezane tehnologije za pridobivanje in obdelavo spletnih podatkov
Zahteve
- Več kot 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega pridobivanja podatkov, avtomatizacije ali razvoja programske opreme
- Diploma prve ali druge stopnje iz inženirstva, uporabne matematike, računalništva ali sorodnega tehničnega področja je prednost
- Močne tehnične spretnosti s praktičnimi izkušnjami s skriptami, avtomatizacijo in delovnimi tokovi za pridobivanje podatkov
- Napredne izkušnje s pridobivanjem podatkov v Pythonu z orodji BeautifulSoup, Selenium ali podobnimi orodji, dinamično vsebino JavaScript/AJAX, neskončnim drsenjem in API-ji s posredniškimi strežniki
- Sposobnost pridobivanja informacij iz kompleksnih hierarhij, arhiviranih strani in nekonsistentnega HTML-ja
- Izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za dostavo v oblikah CSV, JSON ali Google Sheets
- Izkušnje z upravljanjem mehanizmov proti botom in spreminjajočih se struktur spletnih mest v velikem obsegu
- Izkušnje z AWS ali enakovredno infrastrukturo v oblaku in kontejnerizacijo Docker
- Praktične izkušnje z uporabo LangChaina, OpenRouterja ali podobnih ogrodij LLM za avtomatizacijo
- Natančen pristop k točnosti in kakovosti podatkov
- Sposobnost samostojnega dela in učinkovitega odpravljanja težav
- Angleščina na višji srednji ravni (B2) ali višji
- Povezava do profila GitHub je prednost
Ugodnosti
- Sodelovanje kot samostojni izvajalec
- Delo na daljavo s krajšim delovnim časom
- Približno 10 do 20 ur na teden v aktivnih fazah
- Do protivrednosti 25 ameriških dolarjev na uro, odvisno od ravni izkušenj in hitrosti prispevka
- Priložnost za delo na inovativnih tehnoloških projektih prek platforme Mindrift