Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za pridobivanje podatkov s spleta — delo na daljavo na Japonskem
Ustvarjajte zanesljive poteke dela za spletno pridobivanje podatkov v Pythonu za projekt Tendem AI podjetja Mindrift. Pridobivajte, preverjajte in povečujte obseg strukturiranih podatkovnih zbirk s kompleksnih in dinamičnih spletnih mest.
Opis
- Vodenje pridobivanja podatkov od začetka do konca na kompleksnih spletnih mestih
- Zagotavljanje popolnih, natančnih in zanesljivih strukturiranih podatkovnih zbirk
- Uporaba razpoložljivih orodij in prilagojenih potekov dela za pospeševanje zbiranja, preverjanja in izvajanja nalog
- Pridobivanje podatkov iz dinamičnih in interaktivnih virov, vključno z vsebino, ki jo upodablja JavaScript
- Prilagajanje metod pridobivanja spremembam v delovanju spletnih mest
- Vzdrževanje kakovosti podatkov s preverjanjem, navzkrižnimi preverjanji virov, standardi oblikovanja in sistematičnim preverjanjem
- Povečevanje obsega pridobivanja velikih količin podatkov z učinkovito paketno ali vzporedno obdelavo
- Spremljanje napak in ohranjanje stabilnosti ob manjših spremembah strukture spletnega mesta
- Uporaba tehnologij Apify, OpenRouter in drugih tehnologij za pridobivanje in obdelavo spletnih podatkov
Zahteve
- Vsaj 5 let ustreznih izkušenj na področju podatkovnega inženiringa, spletnega pridobivanja podatkov, avtomatizacije ali razvoja programske opreme
- Diploma ali magisterij iz inženirstva, uporabne matematike, računalništva ali sorodnega tehničnega področja je prednost
- Bogate izkušnje s pridobivanjem podatkov v Pythonu z orodji BeautifulSoup, Selenium ali podobnimi orodji, dinamično vsebino, kot so JavaScript, AJAX in neskončno drsenje, ter API-ji, do katerih se dostopa prek posredniških strežnikov
- Sposobnost pridobivanja podatkov iz kompleksnih struktur, vključno s hierarhijami, arhiviranimi stranmi in nekonsistentnim HTML-jem
- Dobro poznavanje čiščenja, normalizacije in preverjanja podatkov ter izkušnje z zagotavljanjem podatkovnih zbirk v oblikah CSV, JSON ali Google Sheets
- Izkušnje z upravljanjem mehanizmov proti botom in dinamičnih struktur spletnih mest v velikem obsegu
- Izkušnje z AWS ali enakovredno infrastrukturo v oblaku
- Izkušnje z uporabo Dockra za kontejnerizacijo
- Praktične izkušnje z ogrodji za velike jezikovne modele, kot so LangChain, OpenRouter ali podobna orodja za avtomatizacijo
- Izrazit občutek za podrobnosti in zavezanost natančnosti podatkov
- Samostojen pristop z zmožnostjo neodvisnega odpravljanja težav
- Angleščina na višji srednji ravni (B2) ali višji
- Povezava do GitHuba je prednost
Ugodnosti
- Priložnost za delo kot samostojni izvajalec
- Delo s krajšim delovnim časom, ocenjeno na približno 10–20 ur tedensko v aktivnih fazah
- Delo na daljavo
- Priložnost za prispevanje k inovativnim projektom razvoja tehnologije in umetne inteligence