
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Ведущий инженер по сбору данных на Python — удалённая работа на Филиппинах
Mindrift ищет ведущего Python-инженера для создания надёжных процессов сбора данных для проектов в области ИИ. Работа сосредоточена на извлечении, проверке и масштабировании структурированных данных со сложных динамических сайтов.
Описание
- Управлять полными процессами извлечения данных со сложных веб-сайтов
- Создавать полные, точные и надёжные структурированные наборы данных
- Применять инструменты и адаптированные процессы для ускорения сбора, проверки и выполнения задач
- Собирать информацию из динамических и интерактивных источников, включая страницы, отрисовываемые JavaScript
- Адаптировать методы сбора данных по мере изменения поведения и структуры веб-сайтов
- Обеспечивать качество данных с помощью проверки, сопоставления источников, правил форматирования и систематического анализа
- Масштабировать сбор больших объёмов данных благодаря эффективной пакетной обработке и параллельному выполнению
- Отслеживать ошибки извлечения и поддерживать стабильность процессов при небольших изменениях веб-сайтов
Требования
- Иметь не менее пяти лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
- Предпочтительно наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины
- Иметь сильный опыт сбора данных на Python с использованием BeautifulSoup, Selenium или сопоставимых инструментов, динамического контента и проксируемых API
- Извлекать информацию из сложных источников, таких как иерархии, архивные страницы и HTML с непоследовательной структурой
- Очищать, нормализовать и проверять данные для передачи в форматах CSV, JSON или Google Sheets
- Работать с защитой от ботов и меняющейся структурой веб-сайтов в проектах по сбору данных в большом масштабе
- Использовать AWS или сопоставимую облачную инфраструктуру и контейнеризацию на основе Docker
- Применять LLM-фреймворки, такие как LangChain, OpenRouter или аналогичные инструменты, в процессах автоматизации
- Работать с исключительным вниманием к деталям и постоянной сосредоточенностью на точности данных
- Самостоятельно работать, выявляя и устраняя технические проблемы
- Владеть английским языком на уровне выше среднего (B2) или выше
Преимущества
- Проектная работа на условиях фриланса
- Удалённый формат с частичной занятостью
- Примерно 10–20 часов в неделю в периоды активных проектов
- Оплата до эквивалента 30 долларов США в час в зависимости от уровня опыта и темпа работы