Mindrift je tržnica talentov na področju umetne inteligence in platforma SaaS, ki povezuje profesionalne sodelavce ter strokovnjake za posamezna področja s projekti tehnoloških podjetij, povezanimi z učenjem in vrednotenjem umetne inteligence. Kot del podjetja Toloka sodeluje s pisci, uredniki, strokovnjaki za zagotavljanje kakovosti, znanstveniki in drugimi strokovnjaki, ki pomagajo ustvarjati učne podatke, ocenjevati varnost in sposobnost sklepanja modelov, preverjati kakovost medijskih vsebin ter oblikovati scenarije iz resničnega sveta za izboljšanje delovanja in zanesljivosti umetne inteligence. Mindrift sodelavce pridobiva in preverja z ocenjevanji ter preverjanjem identitete, nato pa ponuja prilagodljive plačane projektne priložnosti na področju učenja in vrednotenja umetne inteligence.
Senior Python inženir za spletno pridobivanje podatkov (delo po pogodbi, na daljavo v Grčiji)
Gradite in skalirajte zanesljive delovne tokove za pridobivanje podatkov s Pythonom za tehnološke projekte umetne inteligence podjetja Mindrift. Pridobivajte, preverjajte in dostavljajte strukturirane nabore podatkov s kompleksnih dinamičnih spletnih mest.
Opis
- Upravljati celovite delovne tokove pridobivanja podatkov z različnih kompleksnih spletnih mest
- Dostavljati popolne, točne in zanesljive strukturirane nabore podatkov
- Uporabljati orodja in prilagojene delovne tokove za pospešitev zbiranja podatkov, preverjanja in izvajanja nalog
- Zbirati podatke iz dinamičnih in interaktivnih virov, vključno s stranmi, upodobljenimi z JavaScriptom
- Prilagajati metode pridobivanja podatkov spremembam v vedenju spletnih mest
- Ohranjati kakovost podatkov s preverjanjem, primerjavami med viri, standardi oblikovanja in sistematičnim preverjanjem
- Skalirati pridobivanje podatkov iz velikih naborov z učinkovito paketno ali vzporedno obdelavo
- Spremljati napake pri pridobivanju in ohranjati stabilnost ob manjših spremembah strukture spletnih mest
Zahteve
- Več kot 5 let ustreznih izkušenj na področju podatkovnega inženirstva, spletnega pridobivanja podatkov, avtomatizacije ali razvoja programske opreme
- Napredne izkušnje s spletnim pridobivanjem podatkov v Pythonu z orodji BeautifulSoup, Selenium ali primerljivimi orodji, dinamično vsebino in API-ji, ki uporabljajo posredniške strežnike
- Sposobnost pridobivanja informacij iz kompleksnih struktur, vključno s hierarhijami, arhiviranimi stranmi in nedoslednim HTML-jem
- Izkušnje s čiščenjem, normalizacijo in preverjanjem podatkov za strukturirano dostavo v oblikah CSV, JSON in Google Sheets
- Izkušnje z obravnavanjem sistemov proti botom in spreminjajočih se struktur spletnih mest v velikem obsegu
- Izkušnje z AWS ali primerljivo oblačno infrastrukturo in kontejnerizacijo Docker
- Praktične izkušnje z uporabo ogrodij LLM, kot sta LangChain ali OpenRouter, pri nalogah avtomatizacije
- Natančen pristop k točnosti podatkov
- Sposobnost samostojnega in neodvisnega odpravljanja težav
- Znanje angleščine na višji srednji ravni (B2) ali višji ravni
- Diploma dodiplomskega ali magistrskega študija inženirstva, uporabne matematike, računalništva ali sorodnega tehničnega področja je prednost
- Profil na GitHubu je prednost
Ugodnosti
- Delo na daljavo
- Delo s krajšim delovnim časom, približno 10–20 ur tedensko v aktivnih fazah projektov
- Delo po pogodbi
- Delo na inovativnih tehnoloških projektih prek platforme Mindrift