Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za pridobivanje podatkov s spletnih strani (skrajšan delovni čas, delo na daljavo v Gruziji)
Mindrift išče višjega Python inženirja za vzpostavitev zanesljivih postopkov pridobivanja podatkov s spletnih strani za projekte na področju tehnologije umetne inteligence. Vloga je osredotočena na pridobivanje, preverjanje in skaliranje strukturiranih zbirk podatkov s kompleksnih, dinamičnih spletnih mest.
Opis
- Upravljanje celotnih postopkov pridobivanja podatkov na kompleksnih spletnih mestih
- Zagotavljanje popolnih, natančnih in zanesljivih strukturiranih zbirk podatkov
- Uporaba razpoložljivih orodij in prilagojenih postopkov za pospešitev zbiranja podatkov, preverjanja in izvajanja nalog
- Pridobivanje podatkov iz dinamičnih in interaktivnih spletnih virov, vključno s stranmi, upodobljenimi z JavaScriptom
- Prilagajanje metod pridobivanja podatkov spremembam v vedenju spletnih mest
- Ohranjanje kakovosti podatkov s preverjanji veljavnosti, nadzorom skladnosti med viri, zahtevami glede oblikovanja in sistematičnim preverjanjem
- Skaliranje pridobivanja podatkov iz velikih zbirk z učinkovito paketno ali vzporedno obdelavo
- Spremljanje napak in ohranjanje stabilnosti ob manjših spremembah strukture spletnih mest
- Kombiniranje orodij, kot sta Apify in OpenRouter, z ustreznim tehničnim znanjem
Zahteve
- Najmanj 5 let ustreznih izkušenj na področju podatkovnega inženirstva, pridobivanja podatkov s spletnih strani, avtomatizacije ali razvoja programske opreme
- Prednost ima diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodnega tehničnega področja
- Odlične izkušnje s pridobivanjem podatkov s spletnih strani v Pythonu, vključno z orodji BeautifulSoup, Selenium ali primerljivimi orodji, dinamično vsebino in API-ji, do katerih se dostopa prek posredniških strežnikov
- Dokazana sposobnost pridobivanja informacij iz kompleksnih struktur, vključno s hierarhijami, arhiviranimi stranmi in nedoslednim HTML-jem
- Temeljite izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za dostavo v oblikah CSV, JSON ali Google Sheets
- Praktične izkušnje z upravljanjem mehanizmov proti botom in dinamičnih struktur spletnih mest v velikem obsegu
- Izkušnje z AWS ali primerljivo infrastrukturo v oblaku ter kontejnerizacijo na osnovi Dockerja
- Praktične izkušnje z uporabo ogrodij LLM, kot sta LangChain ali OpenRouter, pri nalogah avtomatizacije
- Velika pozornost do podrobnosti in močna zavezanost točnosti podatkov
- Sposobnost samostojnega dela in odpravljanja težav brez tesnega nadzora
- Angleščina na višji srednji ravni (B2) ali višji
- Povezava do profila GitHub je prednost
Ugodnosti
- Delo na daljavo s skrajšanim delovnim časom v okviru samostojnega pogodbenega sodelovanja
- Približno 10–20 ur na teden v aktivnih fazah projekta
- Delo na projektih razvoja tehnologije in umetne inteligence