Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Ведущий инженер по веб-скрейпингу на Python — Сербия, удалённо, неполный рабочий день

Ведущий Python-инженер отвечает за создание надёжных процессов веб-скрейпинга и обработки данных для проекта Tendem AI компании Mindrift. Роль предполагает извлечение, проверку и масштабирование структурированных наборов данных со сложных динамических веб-сайтов.

Описание

  • Управлять процессами извлечения данных на всех этапах при работе со сложными веб-сайтами, предоставляя полные, точные и надёжные структурированные наборы данных.
  • Использовать доступные инструменты и адаптированные рабочие процессы для ускорения сбора и проверки данных, а также выполнения задач в соответствии с установленными требованиями.
  • Надёжно извлекать данные из динамичных и интерактивных источников, адаптируясь к контенту, отображаемому с помощью JavaScript, и изменяющемуся поведению сайтов.
  • Поддерживать качество данных с помощью проверок, сопоставления информации из разных источников, контроля форматирования и систематической проверки перед передачей результата.
  • Масштабировать скрейпинг больших объёмов данных с помощью эффективной пакетной или параллельной обработки, отслеживать сбои и сохранять стабильность при незначительных изменениях сайтов.
  • Применять экспертизу в веб-скрейпинге, извлечении и обработке данных в проекте Tendem.
  • Работать с Apify, OpenRouter и другими релевантными технологиями.

Требования

  • Не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения.
  • Наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом.
  • Глубокий опыт веб-скрейпинга на Python с использованием BeautifulSoup, Selenium или аналогичных инструментов, включая работу с JavaScript, AJAX, бесконечной прокруткой и доступом к API через прокси.
  • Умение извлекать информацию из сложных структур, таких как иерархии, архивные страницы и HTML с непоследовательной структурой.
  • Уверенный опыт очистки, нормализации и проверки данных для передачи в структурированных форматах, включая CSV, JSON и Google Таблицы.
  • Практический опыт работы с антибот-защитой и изменяющейся структурой сайтов в больших масштабах.
  • Опыт использования AWS или эквивалентной облачной инфраструктуры и Docker в производственных или проектных процессах.
  • Практический опыт применения фреймворков LLM, таких как LangChain, OpenRouter или аналогичных инструментов, для задач автоматизации.
  • Высокое внимание к деталям и сильная приверженность точности данных.
  • Самостоятельный подход к работе и способность независимо устранять неполадки.
  • Требуется английский язык на уровне Upper-Intermediate, B2 или выше.
  • Наличие профиля на GitHub будет преимуществом.

Преимущества

  • Фриланс-сотрудничество.
  • Удалённая работа с неполной занятостью.
  • Ориентировочно 10–20 часов в неделю в периоды активных этапов проекта.