Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Ведущий инженер по сбору данных на Python (фриланс, удалённо в Швеции)

Mindrift ищет ведущего инженера на Python для создания надёжных процессов веб-скрейпинга для проектов в области ИИ. Роль сосредоточена на извлечении, проверке и масштабировании структурированных данных со сложных динамических веб-сайтов.

Описание

  • Руководить полными процессами извлечения данных со сложных веб-сайтов
  • Предоставлять полные, точные и надёжные структурированные наборы данных
  • Использовать доступные инструменты и адаптированные процессы для ускорения сбора данных, проверки и выполнения задач
  • Собирать данные с динамических интерактивных веб-сайтов, адаптируясь к контенту, отображаемому через JavaScript, и изменениям в поведении сайтов
  • Обеспечивать качество данных с помощью проверок, сопоставления источников, стандартов форматирования и систематической верификации
  • Масштабировать сбор больших объёмов данных за счёт эффективной пакетной обработки и параллельного выполнения
  • Отслеживать ошибки извлечения и поддерживать стабильность системы при небольших изменениях структуры веб-сайтов
  • Использовать Apify, OpenRouter и другие подходящие технологии в сочетании с сильным техническим мышлением

Требования

  • Не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Продвинутый опыт скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, работы с динамическим контентом, включая JavaScript, AJAX и бесконечную прокрутку, а также API на основе прокси
  • Умение извлекать информацию из сложных структур, включая иерархии, архивные страницы и непоследовательный HTML
  • Опыт очистки, нормализации и проверки данных для структурированных результатов в CSV, JSON или Google Sheets
  • Практический опыт работы с защитой от ботов и изменяющимися структурами веб-сайтов в больших масштабах
  • Опыт использования AWS или сопоставимой облачной инфраструктуры и контейнеров Docker в производственных процессах
  • Практический опыт применения фреймворков LLM, таких как LangChain, OpenRouter или аналогичных инструментов, для автоматизации
  • Высокое внимание к деталям и постоянная сосредоточенность на точности данных
  • Самостоятельный подход к поиску и устранению неисправностей и решению проблем
  • Английский язык на уровне выше среднего (B2) или выше
  • Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом
  • Профиль на GitHub будет преимуществом

Преимущества

  • Фриланс-сотрудничество
  • Удалённая работа с частичной занятостью
  • Ориентировочно 10–20 часов в неделю в активные фазы проектов