
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Старший инженер по веб-скрейпингу на Python (фриланс, удалённая работа из Португалии)
Создавайте надёжные конвейеры веб-скрейпинга и обработки данных для проекта Tendem AI компании Mindrift. Извлекайте, проверяйте и масштабируйте структурированные наборы данных со сложных и динамических веб-сайтов.
Описание
- Выполнять полный цикл извлечения данных со сложных веб-сайтов, предоставляя полные, точные и надёжные структурированные наборы данных
- Использовать инструменты и адаптированные рабочие процессы для ускорения сбора и проверки данных, а также выполнения задач
- Собирать данные из динамических и интерактивных источников, адаптируясь к контенту, формируемому JavaScript, и меняющемуся поведению веб-сайтов
- Поддерживать качество данных с помощью проверок, сопоставления с несколькими источниками, соблюдения требований к форматированию и систематической проверки
- Расширять операции по скрейпингу больших наборов данных с помощью эффективной пакетной или параллельной обработки
- Отслеживать ошибки извлечения и сохранять стабильность при небольших изменениях структуры сайтов
- Применять знания в области веб-скрейпинга, извлечения и обработки данных в специализированных рабочих процессах проектов Tendem
Требования
- Иметь не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
- Обладать уверенными навыками скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, а также работать с JavaScript- и AJAX-контентом, бесконечной прокруткой, API и прокси
- Уметь извлекать информацию из сложных иерархий, архивных страниц и HTML с непоследовательной структурой
- Иметь прочную базу в очистке, нормализации и проверке данных, а также опыт подготовки структурированных наборов данных в форматах CSV, JSON и Google Sheets
- Иметь опыт работы с антибот-защитой и изменяющейся структурой сайтов в большом масштабе
- Иметь опыт работы с AWS или сопоставимой облачной инфраструктурой и контейнеризацией на основе Docker
- Иметь практический опыт применения LLM-фреймворков, таких как LangChain, OpenRouter или аналогичных инструментов, для задач автоматизации
- Работать внимательно и последовательно уделять внимание точности данных
- Уметь работать самостоятельно, брать на себя ответственность за устранение неполадок и придерживаться самостоятельного подхода
- Владеть английским языком на уровне Upper-intermediate (B2) или выше
- Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом
- Ссылка на профиль GitHub будет преимуществом
Преимущества
- Фриланс-сотрудничество
- Неполная занятость: ориентировочно 10–20 часов в неделю в активные фазы проекта
- Удалённый формат работы
- Возможность работать над инновационными технологическими проектами через платформу Mindrift