Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Ведущий инженер по сбору данных на Python (неполный рабочий день, удалённо из Грузии)

Mindrift ищет ведущего Python-инженера для создания надёжных процессов сбора данных для проектов в сфере технологий ИИ. Роль сосредоточена на извлечении, проверке и масштабировании структурированных наборов данных со сложных динамических веб-сайтов.

Описание

  • Управлять процессами извлечения данных от начала до конца на сложных веб-сайтах
  • Предоставлять полные, точные и надёжные структурированные наборы данных
  • Использовать доступные инструменты и специализированные рабочие процессы для ускорения сбора и проверки данных, а также выполнения задач
  • Извлекать данные из динамических и интерактивных веб-источников, включая страницы, отображаемые с помощью JavaScript
  • Адаптировать методы сбора данных по мере изменения поведения веб-сайтов
  • Поддерживать качество данных с помощью проверок, контроля согласованности между источниками, требований к форматированию и систематической верификации
  • Масштабировать сбор больших наборов данных благодаря эффективной пакетной или параллельной обработке
  • Отслеживать сбои и сохранять стабильность при небольших изменениях структуры веб-сайтов
  • Сочетать такие инструменты, как Apify и OpenRouter, с соответствующей технической экспертизой

Требования

  • Не менее 5 лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Предпочтительно наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической сфере
  • Глубокий опыт веб-скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, работы с динамическим контентом и API через прокси
  • Подтверждённая способность извлекать информацию из сложных структур, включая иерархии, архивные страницы и непоследовательную HTML-разметку
  • Уверенный опыт очистки, нормализации и проверки данных для передачи в форматах CSV, JSON или Google Sheets
  • Практический опыт работы с механизмами защиты от ботов и динамическими структурами веб-сайтов в больших масштабах
  • Опыт работы с AWS или сопоставимой облачной инфраструктурой и контейнеризацией на основе Docker
  • Практический опыт применения LLM-фреймворков, таких как LangChain или OpenRouter, для задач автоматизации
  • Высокое внимание к деталям и сильная приверженность точности данных
  • Способность работать самостоятельно и устранять неполадки без постоянного контроля
  • Английский на уровне Upper-Intermediate (B2) или выше
  • Ссылка на профиль GitHub будет преимуществом

Преимущества

  • Удалённое фриланс-сотрудничество с частичной занятостью
  • Примерно 10–20 часов в неделю на активных этапах проектов
  • Работа над технологическими проектами и проектами в сфере развития ИИ