
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.
Ведущий инженер по веб-скрейпингу на Python — удалённая работа в Саудовской Аравии
Ведущий Python-инженер разрабатывает надёжные процессы веб-скрейпинга и обработки данных для проекта Tendem AI компании Mindrift. Роль сосредоточена на извлечении, проверке и масштабировании структурированных наборов данных со сложных веб-сайтов.
Описание
- Руководить полными процессами извлечения данных со сложных веб-сайтов
- Обеспечивать полный охват, точность результатов и надёжную передачу структурированных наборов данных
- Использовать доступные инструменты и адаптированные процессы для ускорения сбора данных, проверки и выполнения задач
- Стабильно получать данные из динамичных и интерактивных веб-источников
- Адаптировать методы извлечения для контента, отображаемого с помощью JavaScript, и меняющегося поведения веб-сайтов
- Обеспечивать качество данных с помощью проверок, сопоставления источников, правил форматирования и систематической верификации
- Масштабировать скрейпинг больших объёмов данных за счёт эффективной пакетной или параллельной обработки
- Отслеживать сбои и поддерживать стабильность процессов при незначительных изменениях структуры сайтов
- Использовать Apify, OpenRouter и связанные технологии в процессах веб-извлечения и обработки данных
Требования
- Более 5 лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
- Предпочтительно наличие степени бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или смежной технической дисциплины
- Продвинутый опыт веб-скрейпинга на Python, включая BeautifulSoup, Selenium или сопоставимые инструменты, работу с динамическим контентом и API на основе прокси
- Умение извлекать информацию из сложных структур, таких как иерархии, архивные страницы и непоследовательный HTML
- Опыт очистки, нормализации и проверки данных для передачи в форматах CSV, JSON или Google Sheets
- Практический опыт работы с антибот-системами и изменениями структуры сайтов в больших масштабах
- Опыт работы с AWS или сопоставимой облачной инфраструктурой
- Опыт упаковки приложений с помощью Docker
- Практический опыт использования LangChain, OpenRouter или аналогичных LLM-фреймворков для задач автоматизации
- Высокое внимание к деталям и постоянная ориентация на точность данных
- Способность работать самостоятельно, организовывать задачи и устранять неполадки
- Английский язык на уровне выше среднего (B2) или выше
- Профиль на GitHub будет преимуществом
Преимущества
- Частичная занятость на условиях фриланса
- Примерно 10–20 часов в неделю на активных этапах проекта
- До эквивалента 37 долларов США в час в зависимости от уровня вклада и темпа работы
- Гибкая проектная загрузка; вознаграждение зависит от масштаба, сложности и требуемой квалификации
- Возможность участвовать в проектах по развитию технологий и искусственного интеллекта