
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Ведущий инженер по сбору данных на Python (неполный рабочий день, удалённо из Грузии)
Mindrift ищет ведущего Python-инженера для создания надёжных процессов сбора данных для проектов в сфере технологий ИИ. Роль сосредоточена на извлечении, проверке и масштабировании структурированных наборов данных со сложных динамических веб-сайтов.
Описание
- Управлять процессами извлечения данных от начала до конца на сложных веб-сайтах
- Предоставлять полные, точные и надёжные структурированные наборы данных
- Использовать доступные инструменты и специализированные рабочие процессы для ускорения сбора и проверки данных, а также выполнения задач
- Извлекать данные из динамических и интерактивных веб-источников, включая страницы, отображаемые с помощью JavaScript
- Адаптировать методы сбора данных по мере изменения поведения веб-сайтов
- Поддерживать качество данных с помощью проверок, контроля согласованности между источниками, требований к форматированию и систематической верификации
- Масштабировать сбор больших наборов данных благодаря эффективной пакетной или параллельной обработке
- Отслеживать сбои и сохранять стабильность при небольших изменениях структуры веб-сайтов
- Сочетать такие инструменты, как Apify и OpenRouter, с соответствующей технической экспертизой
Требования
- Не менее 5 лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
- Предпочтительно наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической сфере
- Глубокий опыт веб-скрейпинга на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, работы с динамическим контентом и API через прокси
- Подтверждённая способность извлекать информацию из сложных структур, включая иерархии, архивные страницы и непоследовательную HTML-разметку
- Уверенный опыт очистки, нормализации и проверки данных для передачи в форматах CSV, JSON или Google Sheets
- Практический опыт работы с механизмами защиты от ботов и динамическими структурами веб-сайтов в больших масштабах
- Опыт работы с AWS или сопоставимой облачной инфраструктурой и контейнеризацией на основе Docker
- Практический опыт применения LLM-фреймворков, таких как LangChain или OpenRouter, для задач автоматизации
- Высокое внимание к деталям и сильная приверженность точности данных
- Способность работать самостоятельно и устранять неполадки без постоянного контроля
- Английский на уровне Upper-Intermediate (B2) или выше
- Ссылка на профиль GitHub будет преимуществом
Преимущества
- Удалённое фриланс-сотрудничество с частичной занятостью
- Примерно 10–20 часов в неделю на активных этапах проектов
- Работа над технологическими проектами и проектами в сфере развития ИИ