
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Старший инженер по веб-скрейпингу на Python — удалённая работа в Бразилии
Старший Python-инженер отвечает за надёжный веб-скрейпинг, проверку данных и передачу структурированных наборов данных для технологических AI-проектов Mindrift. Работа включает динамические сайты, антибот-системы, облачную инфраструктуру и инструменты автоматизации на базе LLM.
Описание
- Руководить полными процессами извлечения данных со сложных веб-сайтов
- Предоставлять структурированные наборы данных с полным охватом, высокой точностью и соблюдением сроков
- Использовать доступные инструменты и адаптированные процессы для ускорения сбора и проверки данных, а также выполнения задач
- Извлекать информацию из динамических и интерактивных источников, включая страницы, отображаемые с помощью JavaScript
- Адаптировать методы скрейпинга по мере изменения поведения веб-сайтов
- Поддерживать качество данных с помощью проверки, сопоставления с несколькими источниками, требований к форматированию и систематической верификации
- Масштабировать скрейпинг больших объёмов данных за счёт эффективной пакетной или параллельной обработки
- Отслеживать сбои и сохранять стабильность при небольших изменениях структуры веб-сайтов
- Интегрировать Apify, OpenRouter и связанные технологии в процессы скрейпинга и обработки
Требования
- Не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
- Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом
- Прочные технические знания и практический опыт написания скриптов, автоматизации и процессов извлечения данных
- Обширный опыт скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, динамического контента и API на основе прокси
- Умение извлекать информацию из сложных структур, включая иерархии, архивные страницы и непоследовательный HTML
- Уверенный опыт очистки, нормализации и проверки данных
- Подтверждённая способность работать с антибот-системами и динамическими структурами веб-сайтов в больших масштабах
- Опыт работы с AWS или сопоставимой облачной инфраструктурой и контейнеризацией Docker
- Практический опыт применения LangChain, OpenRouter или аналогичных LLM-фреймворков для задач автоматизации
- Внимательность к деталям и стремление к высокой точности данных
- Самостоятельность и способность независимо находить и устранять неполадки
- Английский язык на уровне Upper-Intermediate (B2) или выше
- Ссылка на профиль GitHub будет преимуществом
Преимущества
- Фриланс-сотрудничество
- Удалённая работа с частичной занятостью
- Примерно 10–20 часов в неделю в периоды активных проектов
- Оплата до эквивалента 25 долларов США в час в зависимости от уровня опыта и темпа выполнения задач
- Возможность участвовать в инновационных технологических и AI-проектах