Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Старший инженер по веб-скрейпингу на Python — удалённая работа в Бразилии

Старший Python-инженер отвечает за надёжный веб-скрейпинг, проверку данных и передачу структурированных наборов данных для технологических AI-проектов Mindrift. Работа включает динамические сайты, антибот-системы, облачную инфраструктуру и инструменты автоматизации на базе LLM.

Описание

  • Руководить полными процессами извлечения данных со сложных веб-сайтов
  • Предоставлять структурированные наборы данных с полным охватом, высокой точностью и соблюдением сроков
  • Использовать доступные инструменты и адаптированные процессы для ускорения сбора и проверки данных, а также выполнения задач
  • Извлекать информацию из динамических и интерактивных источников, включая страницы, отображаемые с помощью JavaScript
  • Адаптировать методы скрейпинга по мере изменения поведения веб-сайтов
  • Поддерживать качество данных с помощью проверки, сопоставления с несколькими источниками, требований к форматированию и систематической верификации
  • Масштабировать скрейпинг больших объёмов данных за счёт эффективной пакетной или параллельной обработки
  • Отслеживать сбои и сохранять стабильность при небольших изменениях структуры веб-сайтов
  • Интегрировать Apify, OpenRouter и связанные технологии в процессы скрейпинга и обработки

Требования

  • Не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом
  • Прочные технические знания и практический опыт написания скриптов, автоматизации и процессов извлечения данных
  • Обширный опыт скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, динамического контента и API на основе прокси
  • Умение извлекать информацию из сложных структур, включая иерархии, архивные страницы и непоследовательный HTML
  • Уверенный опыт очистки, нормализации и проверки данных
  • Подтверждённая способность работать с антибот-системами и динамическими структурами веб-сайтов в больших масштабах
  • Опыт работы с AWS или сопоставимой облачной инфраструктурой и контейнеризацией Docker
  • Практический опыт применения LangChain, OpenRouter или аналогичных LLM-фреймворков для задач автоматизации
  • Внимательность к деталям и стремление к высокой точности данных
  • Самостоятельность и способность независимо находить и устранять неполадки
  • Английский язык на уровне Upper-Intermediate (B2) или выше
  • Ссылка на профиль GitHub будет преимуществом

Преимущества

  • Фриланс-сотрудничество
  • Удалённая работа с частичной занятостью
  • Примерно 10–20 часов в неделю в периоды активных проектов
  • Оплата до эквивалента 25 долларов США в час в зависимости от уровня опыта и темпа выполнения задач
  • Возможность участвовать в инновационных технологических и AI-проектах