Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Ведущий инженер по сбору данных на Python — удалённая работа на Филиппинах

Mindrift ищет ведущего Python-инженера для создания надёжных процессов сбора данных для проектов в области ИИ. Работа сосредоточена на извлечении, проверке и масштабировании структурированных данных со сложных динамических сайтов.

Описание

  • Управлять полными процессами извлечения данных со сложных веб-сайтов
  • Создавать полные, точные и надёжные структурированные наборы данных
  • Применять инструменты и адаптированные процессы для ускорения сбора, проверки и выполнения задач
  • Собирать информацию из динамических и интерактивных источников, включая страницы, отрисовываемые JavaScript
  • Адаптировать методы сбора данных по мере изменения поведения и структуры веб-сайтов
  • Обеспечивать качество данных с помощью проверки, сопоставления источников, правил форматирования и систематического анализа
  • Масштабировать сбор больших объёмов данных благодаря эффективной пакетной обработке и параллельному выполнению
  • Отслеживать ошибки извлечения и поддерживать стабильность процессов при небольших изменениях веб-сайтов

Требования

  • Иметь не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Предпочтительно наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины
  • Иметь сильный опыт сбора данных на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, динамического контента и проксируемых API
  • Извлекать информацию из сложных источников, таких как иерархии, архивные страницы и HTML с непоследовательной структурой
  • Очищать, нормализовать и проверять данные для передачи в форматах CSV, JSON или Google Sheets
  • Работать с защитой от ботов и меняющейся структурой веб-сайтов в проектах по сбору данных в большом масштабе
  • Использовать AWS или сопоставимую облачную инфраструктуру и контейнеризацию на основе Docker
  • Применять LLM-фреймворки, такие как LangChain, OpenRouter или аналогичные инструменты, в процессах автоматизации
  • Работать с исключительным вниманием к деталям и постоянной сосредоточенностью на точности данных
  • Самостоятельно работать, выявляя и устраняя технические проблемы
  • Владеть английским языком на уровне выше среднего (B2) или выше

Преимущества

  • Проектная работа на условиях фриланса
  • Удалённый формат с частичной занятостью
  • Примерно 10–20 часов в неделю в периоды активных проектов
  • Оплата до эквивалента 30 долларов США в час в зависимости от уровня опыта и темпа работы