Mindrift je tržište talenata za umjetnu inteligenciju i SaaS platforma koja povezuje profesionalne suradnike i stručnjake za pojedina područja s projektima tehnoloških tvrtki usmjerenima na obuku i evaluaciju umjetne inteligencije. Kao dio Toloke, surađuje s piscima, urednicima, stručnjacima za osiguranje kvalitete, znanstvenicima i drugim stručnjacima koji pomažu u stvaranju podataka za obuku, procjeni sigurnosti i sposobnosti zaključivanja modela, ocjenjivanju kvalitete medijskog sadržaja te stvaranju scenarija iz stvarnog svijeta radi poboljšanja učinkovitosti i pouzdanosti umjetne inteligencije. Mindrift privlači i provjerava suradnike putem procjena i provjere identiteta, a zatim nudi fleksibilne plaćene projektne prilike u području obuke i evaluacije umjetne inteligencije.
Viši Python inženjer za prikupljanje podataka s weba u Meksiku (rad na daljinu)
Izgradite i skalirajte pouzdane tijekove rada za prikupljanje podataka s weba za Mindriftovu AI platformu. Izdvajajte, provjeravajte i isporučujte strukturirane podatke sa složenih i dinamičnih web-mjesta.
Opis
- Upravljajte tijekovima izdvajanja podataka kroz cijeli proces na složenim web-mjestima te isporučujte potpune, točne i pouzdane strukturirane skupove podataka.
- Upotrebljavajte dostupne alate i prilagođene tijekove rada za ubrzavanje prikupljanja, provjere i izvršavanja zadataka prema definiranim zahtjevima.
- Pouzdano izdvajajte podatke iz dinamičnih i interaktivnih izvora prilagođavanjem sadržaju koji se prikazuje pomoću JavaScripta i promjenjivom ponašanju web-mjesta.
- Održavajte kvalitetu podataka provjerama valjanosti, pregledima dosljednosti između izvora, zahtjevima za oblikovanje i sustavnom provjerom prije isporuke.
- Skalirajte prikupljanje velikih količina podataka učinkovitim grupiranjem i paralelnom obradom.
- Pratite neuspjela izdvajanja i očuvajte operativnu stabilnost pri manjim promjenama strukture web-mjesta.
- Surađujte s agentima Tendem koji obavljaju repetitivne zadatke u Mindriftovu hibridnom operativnom modelu koji kombinira AI i ljudski rad.
- Primjenjujte alate kao što su Apify, OpenRouter i druge tehnologije zajedno s tehničkim znanjem i prilagođenim metodama.
- Primjenjujte stručnost u prikupljanju podataka s weba, izdvajanju podataka i obradi podataka kako biste proizveli točne, pouzdane i visokokvalitetne rezultate.
Zahtjevi
- Potrebno je najmanje pet godina relevantnog iskustva u podatkovnom inženjerstvu, prikupljanju podataka s weba, automatizaciji ili razvoju softvera.
- Prednost je prvostupanjska ili diplomska razina obrazovanja iz inženjerstva, primijenjene matematike, računalnih znanosti ili srodne tehničke discipline.
- Potrebno je snažno iskustvo u Python prikupljanju podataka s pomoću alata BeautifulSoup, Selenium ili usporedivih alata, uključujući JavaScript, AJAX, beskonačno pomicanje i API-je koji koriste proxyje.
- Sposobnost izdvajanja informacija iz složenih struktura kao što su hijerarhije, arhivirane stranice i nekonzistentan HTML.
- Praktično iskustvo u čišćenju, normalizaciji i provjeri podataka za strukturiranu isporuku u formatima CSV, JSON ili Google Sheets.
- Iskustvo u upravljanju mjerama protiv botova i promjenjivim strukturama web-mjesta u velikom opsegu.
- Praktično iskustvo s AWS-om ili usporedivom infrastrukturom u oblaku te Dockerom u produkcijskim tijekovima rada.
- Iskustvo u primjeni LLM okvira kao što su LangChain ili OpenRouter na zadatke automatizacije.
- Izvanredna pažnja posvećena detaljima i dosljedna usmjerenost na točnost podataka.
- Sposobnost samostalnog rada, istraživanja problema i učinkovitog otklanjanja poteškoća.
- Potrebno je znanje engleskog jezika na višoj srednjoj razini B2 ili višoj.
- Prednost je poveznica na GitHub profil.
Pogodnosti
- Angažman kao freelancer.
- Rad na daljinu s nepunim radnim vremenom.
- Procijenjenih 10–20 sati tjedno tijekom aktivnih faza projekta.