
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Ведущий инженер по сбору данных на Python (фриланс, удалённо в Швеции)
Mindrift ищет ведущего инженера на Python для создания надёжных процессов веб-скрейпинга для проектов в области ИИ. Роль сосредоточена на извлечении, проверке и масштабировании структурированных данных со сложных динамических веб-сайтов.
Описание
- Руководить полными процессами извлечения данных со сложных веб-сайтов
- Предоставлять полные, точные и надёжные структурированные наборы данных
- Использовать доступные инструменты и адаптированные процессы для ускорения сбора данных, проверки и выполнения задач
- Собирать данные с динамических интерактивных веб-сайтов, адаптируясь к контенту, отображаемому через JavaScript, и изменениям в поведении сайтов
- Обеспечивать качество данных с помощью проверок, сопоставления источников, стандартов форматирования и систематической верификации
- Масштабировать сбор больших объёмов данных за счёт эффективной пакетной обработки и параллельного выполнения
- Отслеживать ошибки извлечения и поддерживать стабильность системы при небольших изменениях структуры веб-сайтов
- Использовать Apify, OpenRouter и другие подходящие технологии в сочетании с сильным техническим мышлением
Требования
- Не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
- Продвинутый опыт скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, работы с динамическим контентом, включая JavaScript, AJAX и бесконечную прокрутку, а также API на основе прокси
- Умение извлекать информацию из сложных структур, включая иерархии, архивные страницы и непоследовательный HTML
- Опыт очистки, нормализации и проверки данных для структурированных результатов в CSV, JSON или Google Sheets
- Практический опыт работы с защитой от ботов и изменяющимися структурами веб-сайтов в больших масштабах
- Опыт использования AWS или сопоставимой облачной инфраструктуры и контейнеров Docker в производственных процессах
- Практический опыт применения фреймворков LLM, таких как LangChain, OpenRouter или аналогичных инструментов, для автоматизации
- Высокое внимание к деталям и постоянная сосредоточенность на точности данных
- Самостоятельный подход к поиску и устранению неисправностей и решению проблем
- Английский язык на уровне выше среднего (B2) или выше
- Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины будет преимуществом
- Профиль на GitHub будет преимуществом
Преимущества
- Фриланс-сотрудничество
- Удалённая работа с частичной занятостью
- Ориентировочно 10–20 часов в неделю в активные фазы проектов