
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Ведущий инженер по веб-скрейпингу на Python — Сербия, удалённо, неполный рабочий день
Ведущий Python-инженер отвечает за создание надёжных процессов веб-скрейпинга и обработки данных для проекта Tendem AI компании Mindrift. Роль предполагает извлечение, проверку и масштабирование структурированных наборов данных со сложных динамических веб-сайтов.
Описание
- Управлять процессами извлечения данных на всех этапах при работе со сложными веб-сайтами, предоставляя полные, точные и надёжные структурированные наборы данных.
- Использовать доступные инструменты и адаптированные рабочие процессы для ускорения сбора и проверки данных, а также выполнения задач в соответствии с установленными требованиями.
- Надёжно извлекать данные из динамичных и интерактивных источников, адаптируясь к контенту, отображаемому с помощью JavaScript, и изменяющемуся поведению сайтов.
- Поддерживать качество данных с помощью проверок, сопоставления информации из разных источников, контроля форматирования и систематической проверки перед передачей результата.
- Масштабировать скрейпинг больших объёмов данных с помощью эффективной пакетной или параллельной обработки, отслеживать сбои и сохранять стабильность при незначительных изменениях сайтов.
- Применять экспертизу в веб-скрейпинге, извлечении и обработке данных в проекте Tendem.
- Работать с Apify, OpenRouter и другими релевантными технологиями.
Требования
- Не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения.
- Наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом.
- Глубокий опыт веб-скрейпинга на Python с использованием BeautifulSoup, Selenium или аналогичных инструментов, включая работу с JavaScript, AJAX, бесконечной прокруткой и доступом к API через прокси.
- Умение извлекать информацию из сложных структур, таких как иерархии, архивные страницы и HTML с непоследовательной структурой.
- Уверенный опыт очистки, нормализации и проверки данных для передачи в структурированных форматах, включая CSV, JSON и Google Таблицы.
- Практический опыт работы с антибот-защитой и изменяющейся структурой сайтов в больших масштабах.
- Опыт использования AWS или эквивалентной облачной инфраструктуры и Docker в производственных или проектных процессах.
- Практический опыт применения фреймворков LLM, таких как LangChain, OpenRouter или аналогичных инструментов, для задач автоматизации.
- Высокое внимание к деталям и сильная приверженность точности данных.
- Самостоятельный подход к работе и способность независимо устранять неполадки.
- Требуется английский язык на уровне Upper-Intermediate, B2 или выше.
- Наличие профиля на GitHub будет преимуществом.
Преимущества
- Фриланс-сотрудничество.
- Удалённая работа с неполной занятостью.
- Ориентировочно 10–20 часов в неделю в периоды активных этапов проекта.