Mindrift — технологиялық компаниялардың жасанды интеллектіні оқыту және бағалау жобаларына кәсіби үлес қосушылар мен салалық сарапшыларды біріктіретін жасанды интеллект мамандарының нарығы және SaaS платформасы. Toloka құрамында жұмыс істей отырып, ол жазушылармен, редакторлармен, сапаны бақылау мамандарымен, ғалымдармен және басқа да пәндік сарапшылармен ынтымақтасады. Бұл мамандар оқыту деректерін жасайды, модельдердің қауіпсіздігі мен пайымдау қабілетін бағалайды, медиа сапасын тексереді және жасанды интеллектінің өнімділігі мен сенімділігін арттыру үшін шынайы өмірдегі сценарийлерді әзірлейді. Mindrift үлес қосушыларды бағалау және жеке басын растау рәсімдері арқылы іріктеп, тексереді, содан кейін жасанды интеллектіні оқыту және бағалау бағыттарында икемді, ақылы жобалар ұсынады.
Аға Python деректерін вебтен жинау инженері - қашықтан толық емес жұмыс
Mindrift-тің жасанды интеллект технологиялары жобалары үшін сенімді веб-скрейпинг пен құрылымдалған деректерді жеткізуге жетекшілік етіңіз. Күрделі әрі динамикалық веб-сайттарда деректерді шығаруды, тексеруді және масштабталатын өңдеуді автоматтандырыңыз.
Сипаттама
- Күрделі веб-сайттардағы деректерді басынан соңына дейін шығару үдерісіне жетекшілік ету
- Толық, дәл және сенімді құрылымдалған деректер жиындарын ұсыну
- Жинау, тексеру және тапсырмаларды орындау үдерістерін жеделдету үшін құралдар мен арнайы жұмыс ағындарын пайдалану
- JavaScript мазмұнына және сайт мінез-құлқындағы өзгерістерге бейімделе отырып, динамикалық веб-көздерден деректер шығару
- Тексеру, сәйкестік бақылауы, пішімдеу талаптары және жүйелі растау арқылы деректер сапасын сақтау
- Тиімді пакеттік және параллель өңдеу арқылы үлкен көлемдегі скрейпингті масштабтау
- Ақауларды бақылау және веб-сайт құрылымындағы шағын өзгерістер кезінде тұрақтылықты сақтау
- Вебтен деректерді шығару және деректерді өңдеу үшін Apify, OpenRouter және тиісті технологияларды қолдану
Талаптар
- Деректер инженериясы, веб-скрейпинг, автоматтандыру немесе бағдарламалық жасақтама әзірлеу саласында 5 жылдан астам тиісті тәжірибе
- Инженерия, қолданбалы математика, компьютерлік ғылымдар немесе тиісті техникалық сала бойынша бакалавр не магистр дәрежесінің болуы артықшылық болып саналады
- Скрипт жазу, автоматтандыру және деректерді шығару жұмыс ағындарында практикалық тәжірибесі бар мықты техникалық дағдылар
- BeautifulSoup, Selenium немесе ұқсас құралдармен, соның ішінде динамикалық JavaScript/AJAX мазмұнымен, шексіз айналдырумен және прокси арқылы жұмыс істейтін API интерфейстерімен Python арқылы скрейпинг жасаудың озық тәжірибесі
- Күрделі иерархиялардан, мұрағатталған беттерден және бірізді емес HTML құрылымдарынан ақпарат шығара алу
- CSV, JSON немесе Google Sheets форматында ұсыну үшін деректерді тазалау, қалыпқа келтіру және тексеру тәжірибесі
- Үлкен ауқымда ботқа қарсы механизмдермен және өзгеріп отыратын веб-сайт құрылымдарымен жұмыс тәжірибесі
- AWS немесе баламалы бұлттық инфрақұрылым және Docker контейнерлеу тәжірибесі
- LangChain, OpenRouter немесе ұқсас LLM фреймворктерін автоматтандыруда қолдану бойынша практикалық тәжірибе
- Деректердің дәлдігі мен сапасына мұқият қарау
- Өз бетінше жұмыс істеу және ақауларды тиімді жою қабілеті
- Ағылшын тілін upper-intermediate (B2) немесе одан жоғары деңгейде білу
- GitHub профилінің сілтемесі болғаны артықшылық
Артықшылықтар
- Фриланс негізіндегі жұмыс
- Қашықтан толық емес жұмыс
- Белсенді кезеңдерде аптасына шамамен 10-20 сағат
- Тәжірибе деңгейі мен үлес қосу қарқынына байланысты сағатына 25 АҚШ долларына дейінгі баламалы төлем
- Mindrift платформасы арқылы инновациялық технология жобаларында жұмыс істеу мүмкіндігі