Mindrift
Mindrift
501 – 1 000 Darbuotojai
Dirbtinis intelektasPrekyvietėSaaS
„Mindrift“ yra dirbtinio intelekto talentų rinkos ir SaaS platforma, jungianti profesionalius dalyvius bei konkrečių sričių ekspertus su technologijų įmonių dirbtinio intelekto mokymo ir vertinimo projektais. Būdama „Toloka“ dalimi, ji bendradarbiauja su rašytojais, redaktoriais, kokybės užtikrinimo specialistais, mokslininkais ir kitais sričių ekspertais, kurie padeda kurti mokymo duomenis, vertinti modelių saugumą ir gebėjimą samprotauti, vertinti medijos kokybę bei kurti realaus pasaulio scenarijus, skirtus dirbtinio intelekto našumui ir patikimumui gerinti. „Mindrift“ įdarbina ir tikrina dalyvius atlikdama vertinimus bei patvirtindama jų tapatybę, o vėliau siūlo lanksčias mokamas projektų galimybes dirbtinio intelekto mokymo ir vertinimo srityse.

Vyresnysis Python duomenų rinkimo iš svetainių inžinierius – nuotolinis darbas Japonijoje

Kurkite patikimus Python pagrindu veikiančius duomenų rinkimo iš interneto darbo procesus Mindrift Tendem AI projektui. Išgaukite, patikrinkite ir didinkite struktūrizuotų duomenų rinkinių apimtį iš sudėtingų, dinamiškų svetainių.

Aprašymas

  • Vadovaukite visapusiškam duomenų išgavimui iš sudėtingų svetainių
  • Pateikite išsamius, tikslius ir patikimus struktūrizuotus duomenų rinkinius
  • Naudokite turimus įrankius ir pritaikytus darbo procesus rinkimui, tikrinimui ir užduočių vykdymui paspartinti
  • Išgaukite duomenis iš dinaminių ir interaktyvių šaltinių, įskaitant JavaScript sugeneruotą turinį
  • Koreguokite duomenų rinkimo metodus keičiantis svetainių veikimui
  • Užtikrinkite duomenų kokybę tikrindami, lygindami skirtingus šaltinius, laikydamiesi formatavimo standartų ir sistemingai tikrindami
  • Didinkite didelės apimties duomenų rinkimo mastą naudodami efektyvų paketų apdorojimą arba lygiagretųjį procesavimą
  • Stebėkite klaidas ir išlaikykite stabilumą nepaisant nedidelių svetainių struktūros pokyčių
  • Taikykite Apify, OpenRouter ir kitas technologijas duomenims iš interneto išgauti ir apdoroti

Reikalavimai

  • Ne mažiau kaip 5 metų atitinkama duomenų inžinerijos, duomenų rinkimo iš interneto, automatizavimo arba programinės įrangos kūrimo patirtis
  • Inžinerijos, taikomosios matematikos, informatikos ar susijusios techninės srities bakalauro arba magistro laipsnis būtų privalumas
  • Didelė Python duomenų rinkimo patirtis naudojant BeautifulSoup, Selenium ar panašius įrankius, dirbant su dinaminiu turiniu, pavyzdžiui, JavaScript, AJAX ir begaliniu slinkimu, bei su API, pasiekiamomis per tarpinius serverius
  • Gebėjimas išgauti duomenis iš sudėtingų struktūrų, įskaitant hierarchijas, archyvuotus puslapius ir nenuoseklų HTML
  • Tvirtos duomenų valymo, normalizavimo ir tikrinimo žinios bei patirtis teikiant CSV, JSON arba Google Sheets duomenų rinkinius
  • Patirtis valdant apsaugos nuo robotų mechanizmus ir dinamines svetainių struktūras dideliu mastu
  • Patirtis dirbant su AWS arba lygiaverte debesų infrastruktūra
  • Patirtis naudojant Docker konteinerizavimui
  • Praktinė patirtis naudojant LLM sistemas, pavyzdžiui, LangChain, OpenRouter ar panašius automatizavimo įrankius
  • Didelis dėmesys detalėms ir įsipareigojimas užtikrinti duomenų tikslumą
  • Savarankiškas darbo būdas ir gebėjimas savarankiškai šalinti problemas
  • Aukštesnis nei vidutinis anglų kalbos mokėjimas (B2) arba aukštesnis lygis
  • GitHub nuoroda būtų privalumas

Privalumai

  • Laisvai samdomo darbuotojo galimybė
  • Darbas ne visu etatu, aktyviais etapais numatoma maždaug 10–20 valandų per savaitę
  • Nuotolinis darbas
  • Galimybė prisidėti prie novatoriškų technologijų ir dirbtinio intelekto kūrimo projektų

Susiję darbai