Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za spletno strganje — samostojno delo, delo na daljavo iz Indije
Mindrift išče višjega Python inženirja za pridobivanje, preverjanje in skaliranje delovnih tokov strukturiranih spletnih podatkov za projekt Tendem AI. Delo vključuje Python, infrastrukturo v oblaku, Docker in ogrodja za avtomatizacijo, temelječa na velikih jezikovnih modelih.
Opis
- Upravljanje celovitih delovnih tokov za pridobivanje podatkov z zahtevnih spletnih mest
- Dostavljanje strukturiranih podatkovnih zbirk s celovito pokritostjo, visoko natančnostjo in zanesljivimi roki
- Uporaba specializiranih orodij in prilagojenih delovnih tokov za pospeševanje zbiranja, preverjanja in izvajanja nalog
- Pridobivanje informacij iz dinamičnih in interaktivnih virov, vključno s stranmi, izrisanimi z JavaScriptom
- Prilagajanje metod spletnega strganja spremembam vedenja in strukture spletnih mest
- Vzdrževanje kakovosti podatkov s preverjanjem, primerjavami med viri, standardi oblikovanja in sistematičnim pregledom
- Skaliranje spletnega strganja velikih količin podatkov z učinkovito paketno in vzporedno obdelavo
- Spremljanje napak ter podpora zanesljivemu in stabilnemu delovanju spletnega strganja
- Uporaba strokovnega znanja s področij Pythona, spletnega strganja, pridobivanja in obdelave podatkov pri projektu Tendem
Zahteve
- Več kot 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega strganja, avtomatizacije ali razvoja programske opreme
- Diploma prve ali druge stopnje iz inženirstva, uporabne matematike, računalništva ali sorodnega tehničnega področja je prednost
- Trdni praktični temelji na področju skriptiranja, avtomatizacije in delovnih tokov za pridobivanje podatkov
- Napredne izkušnje s strganjem v Pythonu z uporabo BeautifulSoup, Selenium ali primerljivih orodij, dinamične vsebine in API-jev, ki uporabljajo posredniške strežnike
- Sposobnost pridobivanja informacij iz zahtevnih struktur, vključno s hierarhijami, arhiviranimi stranmi in nekonsistentnim HTML-jem
- Obsežne izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov
- Praktične izkušnje z upravljanjem zaščit pred boti in dinamičnih struktur spletnih mest v velikem obsegu
- Izkušnje z AWS ali primerljivo infrastrukturo v oblaku ter kontejnerizacijo z Dockerjem
- Praktična uporaba LangChaina, OpenRouterja ali podobnih ogrodij LLM za avtomatizacijo
- Natančen pristop k točnosti in kakovosti podatkov
- Sposobnost samostojnega dela, odpravljanja težav in proaktivnega upravljanja nalog
- Angleščina na višji srednji ravni (B2) ali višji
- Povezava do GitHuba je prednost
Ugodnosti
- Sodelovanje kot samostojni izvajalec
- Delo na daljavo s krajšim delovnim časom iz Indije
- Približno 10–20 ur tedensko v aktivnih fazah projekta
- Priložnosti za delo na tehnoloških projektih prek platforme Mindrift
- Plačilo do protivrednosti 30 USD na uro, odvisno od ravni izkušenj in hitrosti prispevanja