Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Ведущий инженер по сбору данных на Python — удалённая работа с частичной занятостью

Руководите надёжным веб-скрейпингом и доставкой структурированных данных для технологических AI-проектов Mindrift. Автоматизируйте извлечение, проверку и масштабируемую обработку данных на сложных динамических сайтах.

Описание

  • Руководить извлечением данных на всех этапах со сложных веб-сайтов
  • Предоставлять полные, точные и надёжные структурированные наборы данных
  • Использовать инструменты и индивидуальные рабочие процессы для ускорения сбора, проверки и выполнения задач
  • Извлекать данные из динамических веб-источников, адаптируясь к содержимому JavaScript и изменениям в поведении сайтов
  • Поддерживать качество данных с помощью проверок, контроля согласованности и формата, а также систематической верификации
  • Масштабировать сбор больших объёмов данных благодаря эффективной пакетной и параллельной обработке
  • Отслеживать сбои и сохранять стабильность при небольших изменениях структуры сайтов
  • Применять Apify, OpenRouter и связанные технологии для извлечения и обработки данных

Требования

  • Более 5 лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической сфере будет преимуществом
  • Глубокие технические навыки и практический опыт написания скриптов, автоматизации и рабочих процессов извлечения данных
  • Продвинутый опыт скрейпинга на Python с использованием BeautifulSoup, Selenium или аналогичных инструментов, динамического контента JavaScript/AJAX, бесконечной прокрутки и API через прокси
  • Умение извлекать информацию из сложных иерархий, архивных страниц и непоследовательного HTML-кода
  • Опыт очистки, нормализации и проверки данных для передачи в форматах CSV, JSON или Google Sheets
  • Опыт работы с механизмами защиты от ботов и изменяющимися структурами сайтов в больших масштабах
  • Опыт работы с AWS или эквивалентной облачной инфраструктурой и контейнеризацией Docker
  • Практический опыт применения LangChain, OpenRouter или аналогичных LLM-фреймворков для автоматизации
  • Внимательное отношение к точности и качеству данных
  • Способность работать самостоятельно и эффективно устранять неполадки
  • Английский язык на уровне выше среднего (B2) или выше
  • Ссылка на профиль GitHub будет преимуществом

Преимущества

  • Фриланс-сотрудничество
  • Удалённая работа с частичной занятостью
  • Примерно 10–20 часов в неделю в периоды активной работы
  • До эквивалента $25 в час в зависимости от уровня опыта и темпа выполнения задач
  • Возможность работать над инновационными технологическими проектами через платформу Mindrift