Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Višji Python inženir za pridobivanje podatkov s spleta (delo po pogodbi, na daljavo v Savdski Arabiji)
Višji Python inženir bo razvijal razširljive poteke dela za pridobivanje podatkov s spleta v okviru projekta Tendem AI podjetja Mindrift. Delo se osredotoča na pridobivanje, preverjanje in strukturiranje kompleksnih spletnih podatkov s Pythonom in orodji za avtomatizacijo.
Opis
- Vodenje specializiranih potekov dela za pridobivanje podatkov s spleta za projekt Tendem podjetja Mindrift in njegove uporabe v resničnem svetu
- Upravljanje celotnih cevovodov za pridobivanje podatkov z zahtevnih spletnih mest
- Ustvarjanje popolnih, natančnih, zanesljivih in dobro strukturiranih podatkovnih zbirk
- Uporaba orodij Apify, OpenRouter in prilagojenih potekov dela za učinkovitejše zbiranje, preverjanje in izvajanje nalog
- Pridobivanje podatkov iz dinamičnih in interaktivnih virov ter prilagajanje vsebini, ki se izrisuje z JavaScriptom, in spreminjajočemu se vedenju spletnih mest
- Varovanje kakovosti podatkov s preverjanji veljavnosti, primerjavami med viri, nadzorom oblikovanja in sistematičnim preverjanjem
- Razširjanje pridobivanja velikih količin podatkov z učinkovito paketno in vzporedno obdelavo
- Preiskovanje napak in ohranjanje stabilnosti cevovodov ob manjših spremembah strukture spletnih mest
- Samostojno reševanje kompleksnih izzivov pri skriptiranju, avtomatizaciji, pridobivanju, strukturiranju in preverjanju podatkov
Zahteve
- Več kot 5 let ustreznih izkušenj na področju podatkovnega inženirstva, pridobivanja podatkov s spleta, avtomatizacije ali razvoja programske opreme
- Znanje angleščine na višji srednji ravni (B2) ali višji
- Napredne izkušnje s pridobivanjem podatkov v Pythonu z uporabo BeautifulSoup, Selenium ali primerljivih orodij, dinamične vsebine JavaScript/AJAX, neskončnega drsenja in API-jev, ki temeljijo na posredniških strežnikih
- Sposobnost pridobivanja informacij iz kompleksnih hierarhij, arhiviranih strani in nedoslednega HTML-ja
- Dobro poznavanje čiščenja, normalizacije in preverjanja podatkov
- Praktične izkušnje z upravljanjem zaščite pred boti in spreminjajočih se struktur spletnih mest v velikem obsegu
- Izkušnje z AWS ali primerljivo infrastrukturo v oblaku
- Izkušnje s paketiranjem aplikacij z Dockerjem
- Praktična uporaba LangChaina, OpenRouterja ali podobnih ogrodij LLM za avtomatizacijo
- Izjemna pozornost do podrobnosti in močna osredotočenost na natančnost podatkov
- Samoiniciativen pristop in samozavest pri samostojnem odpravljanju težav
- Diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodne tehnične smeri je prednost
- Povezava do profila na GitHubu je prednost
Ugodnosti
- Prilagodljivo delo po pogodbi s krajšim delovnim časom
- Pričakovan obseg dela je od 10 do 20 ur tedensko v aktivnih obdobjih projekta
- Plačilo do protivrednosti 37 USD na uro, odvisno od ravni izkušenj in tempa prispevka
- Priložnost za sodelovanje pri inovativnih projektih razvoja umetne inteligence in tehnologije
- Popolnoma delo na daljavo