
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Ведущий инженер по сбору данных на Python — удалённая работа с частичной занятостью
Руководите надёжным веб-скрейпингом и доставкой структурированных данных для технологических AI-проектов Mindrift. Автоматизируйте извлечение, проверку и масштабируемую обработку данных на сложных динамических сайтах.
Описание
- Руководить извлечением данных на всех этапах со сложных веб-сайтов
- Предоставлять полные, точные и надёжные структурированные наборы данных
- Использовать инструменты и индивидуальные рабочие процессы для ускорения сбора, проверки и выполнения задач
- Извлекать данные из динамических веб-источников, адаптируясь к содержимому JavaScript и изменениям в поведении сайтов
- Поддерживать качество данных с помощью проверок, контроля согласованности и формата, а также систематической верификации
- Масштабировать сбор больших объёмов данных благодаря эффективной пакетной и параллельной обработке
- Отслеживать сбои и сохранять стабильность при небольших изменениях структуры сайтов
- Применять Apify, OpenRouter и связанные технологии для извлечения и обработки данных
Требования
- Более 5 лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
- Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической сфере будет преимуществом
- Глубокие технические навыки и практический опыт написания скриптов, автоматизации и рабочих процессов извлечения данных
- Продвинутый опыт скрейпинга на Python с использованием BeautifulSoup, Selenium или аналогичных инструментов, динамического контента JavaScript/AJAX, бесконечной прокрутки и API через прокси
- Умение извлекать информацию из сложных иерархий, архивных страниц и непоследовательного HTML-кода
- Опыт очистки, нормализации и проверки данных для передачи в форматах CSV, JSON или Google Sheets
- Опыт работы с механизмами защиты от ботов и изменяющимися структурами сайтов в больших масштабах
- Опыт работы с AWS или эквивалентной облачной инфраструктурой и контейнеризацией Docker
- Практический опыт применения LangChain, OpenRouter или аналогичных LLM-фреймворков для автоматизации
- Внимательное отношение к точности и качеству данных
- Способность работать самостоятельно и эффективно устранять неполадки
- Английский язык на уровне выше среднего (B2) или выше
- Ссылка на профиль GitHub будет преимуществом
Преимущества
- Фриланс-сотрудничество
- Удалённая работа с частичной занятостью
- Примерно 10–20 часов в неделю в периоды активной работы
- До эквивалента $25 в час в зависимости от уровня опыта и темпа выполнения задач
- Возможность работать над инновационными технологическими проектами через платформу Mindrift