Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Старший инженер по веб-скрейпингу на Python (фриланс, удалённая работа из Португалии)

Создавайте надёжные конвейеры веб-скрейпинга и обработки данных для проекта Tendem AI компании Mindrift. Извлекайте, проверяйте и масштабируйте структурированные наборы данных со сложных и динамических веб-сайтов.

Описание

  • Выполнять полный цикл извлечения данных со сложных веб-сайтов, предоставляя полные, точные и надёжные структурированные наборы данных
  • Использовать инструменты и адаптированные рабочие процессы для ускорения сбора и проверки данных, а также выполнения задач
  • Собирать данные из динамических и интерактивных источников, адаптируясь к контенту, формируемому JavaScript, и меняющемуся поведению веб-сайтов
  • Поддерживать качество данных с помощью проверок, сопоставления с несколькими источниками, соблюдения требований к форматированию и систематической проверки
  • Расширять операции по скрейпингу больших наборов данных с помощью эффективной пакетной или параллельной обработки
  • Отслеживать ошибки извлечения и сохранять стабильность при небольших изменениях структуры сайтов
  • Применять знания в области веб-скрейпинга, извлечения и обработки данных в специализированных рабочих процессах проектов Tendem

Требования

  • Иметь не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Обладать уверенными навыками скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, а также работать с JavaScript- и AJAX-контентом, бесконечной прокруткой, API и прокси
  • Уметь извлекать информацию из сложных иерархий, архивных страниц и HTML с непоследовательной структурой
  • Иметь прочную базу в очистке, нормализации и проверке данных, а также опыт подготовки структурированных наборов данных в форматах CSV, JSON и Google Sheets
  • Иметь опыт работы с антибот-защитой и изменяющейся структурой сайтов в большом масштабе
  • Иметь опыт работы с AWS или сопоставимой облачной инфраструктурой и контейнеризацией на основе Docker
  • Иметь практический опыт применения LLM-фреймворков, таких как LangChain, OpenRouter или аналогичных инструментов, для задач автоматизации
  • Работать внимательно и последовательно уделять внимание точности данных
  • Уметь работать самостоятельно, брать на себя ответственность за устранение неполадок и придерживаться самостоятельного подхода
  • Владеть английским языком на уровне Upper-intermediate (B2) или выше
  • Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом
  • Ссылка на профиль GitHub будет преимуществом

Преимущества

  • Фриланс-сотрудничество
  • Неполная занятость: ориентировочно 10–20 часов в неделю в активные фазы проекта
  • Удалённый формат работы
  • Возможность работать над инновационными технологическими проектами через платформу Mindrift