Mindrift je tržište talenata za umjetnu inteligenciju i SaaS platforma koja povezuje profesionalne suradnike i stručnjake za pojedina područja s projektima tehnoloških tvrtki usmjerenima na obuku i evaluaciju umjetne inteligencije. Kao dio Toloke, surađuje s piscima, urednicima, stručnjacima za osiguranje kvalitete, znanstvenicima i drugim stručnjacima koji pomažu u stvaranju podataka za obuku, procjeni sigurnosti i sposobnosti zaključivanja modela, ocjenjivanju kvalitete medijskog sadržaja te stvaranju scenarija iz stvarnog svijeta radi poboljšanja učinkovitosti i pouzdanosti umjetne inteligencije. Mindrift privlači i provjerava suradnike putem procjena i provjere identiteta, a zatim nudi fleksibilne plaćene projektne prilike u području obuke i evaluacije umjetne inteligencije.
Senior Python inženjer za prikupljanje podataka s weba — rad na daljinu iz Indije
Senior Python inženjer odgovoran je za izgradnju pouzdanih tijekova rada za prikupljanje podataka s weba za Mindriftov projekt Tendem AI. Uloga je usmjerena na izdvajanje, provjeru i skaliranje strukturiranih podataka sa složenih, dinamičnih web-mjesta.
Opis
- Upravljati cjelovitim tijekovima rada za izdvajanje podataka sa složenih web-mjesta te održavati široku pokrivenost, točnost i pouzdanu isporuku strukturiranih skupova podataka.
- Koristiti dostupne alate i prilagođene tijekove rada za poboljšanje prikupljanja podataka, provjere i izvršavanja zadataka uz ispunjavanje definiranih zahtjeva.
- Pouzdano izdvajati podatke iz dinamičnih i interaktivnih izvora prilagođavanjem sadržaju koji se prikazuje JavaScriptom i promjenjivom ponašanju web-mjesta.
- Održavati kvalitetu podataka provjerama valjanosti, usporedbama među izvorima, kontrolama oblikovanja i sustavnom provjerom prije isporuke.
- Skalirati prikupljanje velikih količina podataka učinkovitim tehnikama grupne i paralelne obrade.
- Pratiti neuspjela izdvajanja i očuvati stabilnost tijeka rada kada dođe do manjih promjena strukture web-mjesta.
- Primjenjivati stručnost u prikupljanju podataka s weba, izdvajanju podataka i obradi podataka na stvarne slučajeve upotrebe u okviru projekta Tendem.
Zahtjevi
- Najmanje 5 godina relevantnog iskustva u podatkovnom inženjerstvu, prikupljanju podataka s weba, automatizaciji ili razvoju softvera.
- Izvrsno iskustvo s prikupljanjem podataka u Pythonu uz BeautifulSoup, Selenium ili usporedive alate, uključujući JavaScript, AJAX, beskonačno pomicanje i pristup API-jima putem proxyja.
- Sposobnost izdvajanja informacija iz složenih struktura kao što su hijerarhije, arhivirane stranice i nekonzistentni HTML.
- Praktično iskustvo u čišćenju, normalizaciji i provjeri podataka za isporuku u formatima CSV, JSON ili Google Sheets.
- Iskustvo u upravljanju mjerama protiv botova i promjenjivim strukturama web-mjesta u tijekovima rada za prikupljanje podataka velikih razmjera.
- Praktično iskustvo s AWS-om ili usporedivom cloud infrastrukturom te kontejnerizacijom temeljenom na Dockeru u produkcijskim tijekovima rada.
- Iskustvo u primjeni LLM okvira kao što su LangChain, OpenRouter ili slični alati na zadatke automatizacije.
- Izražena pažnja prema detaljima i dosljedna usmjerenost na točnost podataka.
- Sposobnost samostalnog rada, istraživanja problema i učinkovitog otklanjanja poteškoća.
- Engleski jezik na višoj srednjoj razini B2 ili višoj.
Pogodnosti
- Freelance angažman.
- Rad na daljinu s nepunim radnim vremenom iz Indije.
- Otprilike 10–20 sati tjedno tijekom aktivnih faza projekta.