Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Ведущий инженер по веб-скрейпингу на Python — удалённая работа в Саудовской Аравии

Ведущий Python-инженер разрабатывает надёжные процессы веб-скрейпинга и обработки данных для проекта Tendem AI компании Mindrift. Роль сосредоточена на извлечении, проверке и масштабировании структурированных наборов данных со сложных веб-сайтов.

Описание

  • Руководить полными процессами извлечения данных со сложных веб-сайтов
  • Обеспечивать полный охват, точность результатов и надёжную передачу структурированных наборов данных
  • Использовать доступные инструменты и адаптированные процессы для ускорения сбора данных, проверки и выполнения задач
  • Стабильно получать данные из динамичных и интерактивных веб-источников
  • Адаптировать методы извлечения для контента, отображаемого с помощью JavaScript, и меняющегося поведения веб-сайтов
  • Обеспечивать качество данных с помощью проверок, сопоставления источников, правил форматирования и систематической верификации
  • Масштабировать скрейпинг больших объёмов данных за счёт эффективной пакетной или параллельной обработки
  • Отслеживать сбои и поддерживать стабильность процессов при незначительных изменениях структуры сайтов
  • Использовать Apify, OpenRouter и связанные технологии в процессах веб-извлечения и обработки данных

Требования

  • Более 5 лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Предпочтительно наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины
  • Продвинутый опыт веб-скрейпинга на Python, включая BeautifulSoup, Selenium или сопоставимые инструменты, работу с динамическим контентом и API на основе прокси
  • Умение извлекать информацию из сложных структур, таких как иерархии, архивные страницы и непоследовательный HTML
  • Опыт очистки, нормализации и проверки данных для передачи в форматах CSV, JSON или Google Sheets
  • Практический опыт работы с антибот-системами и изменениями структуры сайтов в больших масштабах
  • Опыт работы с AWS или сопоставимой облачной инфраструктурой
  • Опыт упаковки приложений с помощью Docker
  • Практический опыт использования LangChain, OpenRouter или аналогичных LLM-фреймворков для задач автоматизации
  • Высокое внимание к деталям и постоянная ориентация на точность данных
  • Способность работать самостоятельно, организовывать задачи и устранять неполадки
  • Английский язык на уровне выше среднего (B2) или выше
  • Профиль на GitHub будет преимуществом

Преимущества

  • Частичная занятость на условиях фриланса
  • Примерно 10–20 часов в неделю на активных этапах проекта
  • До эквивалента 37 долларов США в час в зависимости от уровня вклада и темпа работы
  • Гибкая проектная загрузка; вознаграждение зависит от масштаба, сложности и требуемой квалификации
  • Возможность участвовать в проектах по развитию технологий и искусственного интеллекта