Mindrift
Mindrift
501 – 1 000 Darbuotojai
Dirbtinis intelektasPrekyvietėSaaS
„Mindrift“ yra dirbtinio intelekto talentų rinkos ir SaaS platforma, jungianti profesionalius dalyvius bei konkrečių sričių ekspertus su technologijų įmonių dirbtinio intelekto mokymo ir vertinimo projektais. Būdama „Toloka“ dalimi, ji bendradarbiauja su rašytojais, redaktoriais, kokybės užtikrinimo specialistais, mokslininkais ir kitais sričių ekspertais, kurie padeda kurti mokymo duomenis, vertinti modelių saugumą ir gebėjimą samprotauti, vertinti medijos kokybę bei kurti realaus pasaulio scenarijus, skirtus dirbtinio intelekto našumui ir patikimumui gerinti. „Mindrift“ įdarbina ir tikrina dalyvius atlikdama vertinimus bei patvirtindama jų tapatybę, o vėliau siūlo lanksčias mokamas projektų galimybes dirbtinio intelekto mokymo ir vertinimo srityse.

Vyresnysis Python žiniatinklio duomenų rinkimo inžinierius – nuotolinis darbas iš Brazilijos

Vyresnysis Python inžinierius bus atsakingas už patikimą žiniatinklio duomenų rinkimą, duomenų tikrinimą ir struktūrizuotų duomenų rinkinių teikimą Mindrift dirbtinio intelekto technologijų projektams. Darbas apima dinamines svetaines, apsaugos nuo robotų sistemas, debesų infrastruktūrą ir dideliais kalbos modeliais pagrįstus automatizavimo įrankius.

Aprašymas

  • Vadovauti visiems duomenų išgavimo procesams sudėtingose svetainėse
  • Teikti struktūrizuotus duomenų rinkinius, užtikrinant išsamų padengimą, aukštą tikslumą ir patikimus terminus
  • Naudoti prieinamus įrankius ir pritaikytus procesus duomenų rinkimui, tikrinimui ir užduočių vykdymui paspartinti
  • Išgauti informaciją iš dinaminių ir interaktyvių šaltinių, įskaitant JavaScript generuojamus puslapius
  • Keisti duomenų rinkimo metodus, kai keičiasi svetainių veikimas
  • Palaikyti duomenų kokybę atliekant tikrinimą, kryžminį šaltinių palyginimą, laikantis formatavimo reikalavimų ir sistemingai tikrinant
  • Didelės apimties duomenų rinkimą plėsti naudojant efektyvų paketų apdorojimą arba lygiagretųjį apdorojimą
  • Stebėti klaidas ir išlaikyti stabilumą, kai nežymiai keičiasi svetainės struktūra
  • Integruoti Apify, OpenRouter ir panašių technologijų įrankius į duomenų rinkimo ir apdorojimo procesus

Reikalavimai

  • Ne mažesnė kaip penkerių metų atitinkama patirtis duomenų inžinerijos, žiniatinklio duomenų rinkimo, automatizavimo arba programinės įrangos kūrimo srityje
  • Inžinerijos, taikomosios matematikos, informatikos ar susijusios techninės krypties bakalauro arba magistro laipsnis būtų privalumas
  • Tvirti techniniai pagrindai ir praktinė scenarijų kūrimo, automatizavimo bei duomenų išgavimo procesų patirtis
  • Išsami Python pagrįsto duomenų rinkimo naudojant BeautifulSoup, Selenium ar panašius įrankius patirtis, įskaitant dinaminį turinį ir tarpinių serverių API
  • Gebėjimas išgauti informaciją iš sudėtingų struktūrų, įskaitant hierarchijas, archyvuotus puslapius ir nenuoseklų HTML
  • Tvirta duomenų valymo, normalizavimo ir tikrinimo patirtis
  • Įrodyta gebėjimo dideliu mastu valdyti apsaugos nuo robotų sistemas ir dinamines svetainių struktūras patirtis
  • AWS ar panašios debesų infrastruktūros ir Docker konteinerizavimo patirtis
  • Praktinė LangChain, OpenRouter ar panašių didelių kalbos modelių struktūrų taikymo automatizavimo užduotims patirtis
  • Didelis dėmesys detalėms ir įsipareigojimas užtikrinti duomenų tikslumą
  • Savarankiškas darbo stilius ir gebėjimas savarankiškai diagnozuoti problemas
  • Ne žemesnis kaip aukštesnis vidutinis anglų kalbos lygis (B2)
  • GitHub profilio nuoroda būtų privalumas

Privalumai

  • Laisvai samdomo darbuotojo darbas
  • Darbas nuotoliniu būdu ne visą darbo dieną
  • Aktyviais projekto etapais maždaug 10–20 valandų per savaitę
  • Atlygis iki 25 JAV dolerių ekvivalento per valandą, priklausomai nuo patirties lygio ir darbo tempo
  • Galimybė prisidėti prie novatoriškų technologijų ir dirbtinio intelekto kūrimo projektų

Susiję darbai