Mindrift je tržište talenata za umjetnu inteligenciju i SaaS platforma koja povezuje profesionalne suradnike i stručnjake za pojedina područja s projektima tehnoloških tvrtki usmjerenima na obuku i evaluaciju umjetne inteligencije. Kao dio Toloke, surađuje s piscima, urednicima, stručnjacima za osiguranje kvalitete, znanstvenicima i drugim stručnjacima koji pomažu u stvaranju podataka za obuku, procjeni sigurnosti i sposobnosti zaključivanja modela, ocjenjivanju kvalitete medijskog sadržaja te stvaranju scenarija iz stvarnog svijeta radi poboljšanja učinkovitosti i pouzdanosti umjetne inteligencije. Mindrift privlači i provjerava suradnike putem procjena i provjere identiteta, a zatim nudi fleksibilne plaćene projektne prilike u području obuke i evaluacije umjetne inteligencije.
Senior Python inženjer za scraping podataka (nepuno radno vrijeme, rad na daljinu u Gruziji)
Mindrift traži senior Python inženjera za izradu pouzdanih procesa scrapinga za projekte AI tehnologije. Uloga je usmjerena na izdvajanje, provjeru i skaliranje strukturiranih skupova podataka sa složenih dinamičnih web-stranica.
Opis
- Upravljanje cjelokupnim procesima izdvajanja podataka na složenim web-stranicama
- Isporuka potpunih, točnih i pouzdanih strukturiranih skupova podataka
- Primjena dostupnih alata i prilagođenih procesa za ubrzavanje prikupljanja podataka, provjere i izvršavanja zadataka
- Izdvajanje podataka iz dinamičnih i interaktivnih web-izvora, uključujući stranice koje se prikazuju pomoću JavaScripta
- Prilagodba metoda scrapinga promjenama u ponašanju web-stranica
- Održavanje kvalitete podataka provjerama valjanosti, kontrolama međusobne dosljednosti izvora, zahtjevima za formatiranje i sustavnom provjerom
- Skaliranje scrapinga velikih skupova podataka učinkovitim paketnim ili paralelnim procesiranjem
- Praćenje pogrešaka i očuvanje stabilnosti tijekom manjih promjena strukture web-stranica
- Kombiniranje alata kao što su Apify i OpenRouter s relevantnim tehničkim znanjem
Zahtjevi
- Najmanje 5 godina relevantnog iskustva u podatkovnom inženjerstvu, web-scrapingu, automatizaciji ili razvoju softvera
- Prednost je diploma prvostupnika ili magistra inženjerstva, primijenjene matematike, računarstva ili srodnog tehničkog područja
- Izvrsno iskustvo s web-scrapingom u Pythonu, uključujući BeautifulSoup, Selenium ili usporedive alate, dinamični sadržaj i API-je kojima se pristupa putem proxyja
- Dokazana sposobnost izdvajanja informacija iz složenih struktura, uključujući hijerarhije, arhivirane stranice i nedosljedan HTML
- Temeljito iskustvo u čišćenju, normalizaciji i provjeri podataka za isporuku u formatima CSV, JSON ili Google Sheets
- Praktično iskustvo u upravljanju mehanizmima protiv botova i dinamičnim strukturama web-stranica u velikom opsegu
- Iskustvo s AWS-om ili usporedivom infrastrukturom u oblaku te kontejnerizacijom na temelju Dockera
- Praktično iskustvo u primjeni LLM okvira kao što su LangChain ili OpenRouter na zadatke automatizacije
- Izrazita pažnja prema detaljima i snažna predanost točnosti podataka
- Sposobnost samostalnog rada i rješavanja problema bez bliskog nadzora
- Engleski jezik na višoj srednjoj razini (B2) ili višoj
- Poveznica na GitHub profil je prednost
Pogodnosti
- Honorarni freelance angažman na daljinu
- Otprilike 10–20 sati tjedno tijekom aktivnih faza projekta
- Rad na projektima razvoja tehnologije i umjetne inteligencije