Mindrift
Mindrift
Mindrift — это маркетплейс специалистов в области искусственного интеллекта и SaaS-платформа, которая связывает профессиональных участников и экспертов в различных предметных областях с проектами технологических компаний по обучению и оценке ИИ. Будучи частью Toloka, компания сотрудничает с авторами, редакторами, специалистами по обеспечению качества, учёными и другими профильными экспертами, которые помогают создавать обучающие данные, оценивать безопасность и способность моделей к рассуждению, проверять качество медиаконтента и разрабатывать реалистичные сценарии для повышения эффективности и надёжности ИИ. Mindrift привлекает и проверяет участников с помощью тестовых заданий и верификации личности, а затем предлагает гибкие оплачиваемые проекты в сфере обучения и оценки ИИ.

Старший инженер по сбору данных на Python — удалённая работа в Японии

Создавайте надёжные процессы веб-скрейпинга на Python для проекта Tendem AI компании Mindrift. Извлекайте, проверяйте и масштабируйте структурированные наборы данных со сложных динамических сайтов.

Описание

  • Руководить полным циклом извлечения данных со сложных веб-сайтов
  • Предоставлять полные, точные и надёжные структурированные наборы данных
  • Использовать доступные инструменты и собственные рабочие процессы для ускорения сбора, проверки и выполнения задач
  • Извлекать данные из динамических и интерактивных источников, включая контент, отрисованный JavaScript
  • Адаптировать методы скрейпинга по мере изменения поведения веб-сайтов
  • Поддерживать качество данных с помощью проверки, сопоставления между источниками, стандартов форматирования и систематической верификации
  • Масштабировать скрейпинг больших объёмов с помощью эффективной пакетной или параллельной обработки
  • Отслеживать сбои и сохранять стабильность при небольших изменениях структуры сайтов
  • Применять Apify, OpenRouter и другие технологии для извлечения и обработки веб-данных

Требования

  • Не менее 5 лет релевантного опыта в инженерии данных, веб-скрейпинге, автоматизации или разработке программного обеспечения
  • Степень бакалавра или магистра в области инженерии, прикладной математики, компьютерных наук или другой связанной технической области будет преимуществом
  • Обширный опыт скрейпинга на Python с BeautifulSoup, Selenium или аналогичными инструментами, работы с динамическим контентом, таким как JavaScript, AJAX и бесконечная прокрутка, а также с API через прокси
  • Умение извлекать данные из сложных структур, включая иерархии, архивные страницы и непоследовательный HTML
  • Глубокие знания очистки, нормализации и проверки данных, а также опыт подготовки наборов данных в CSV, JSON или Google Sheets
  • Опыт работы с механизмами защиты от ботов и динамическими структурами сайтов в больших масштабах
  • Опыт работы с AWS или эквивалентной облачной инфраструктурой
  • Опыт использования Docker для контейнеризации
  • Практический опыт работы с фреймворками LLM, такими как LangChain, OpenRouter или аналогичными инструментами автоматизации
  • Внимательность к деталям и стремление к точности данных
  • Самостоятельный подход и способность независимо устранять неполадки
  • Английский язык на уровне выше среднего (B2) или выше
  • Ссылка на GitHub будет преимуществом

Преимущества

  • Возможность работать в качестве фрилансера
  • Неполная занятость: ориентировочно 10–20 часов в неделю в активные периоды
  • Удалённая работа
  • Возможность участвовать в инновационных проектах в области технологий и развития ИИ

Похожие вакансии

Arcadis

Ведущий инженер-электрик по железным дорогам и зданиям

Arcadis

Руководите проектированием электрических систем для устойчивых железнодорожных и строительных проектов в Arcadis. Управляйте BIM-командами, координируйте заинтересованные стороны и содействуйте эффективной реализации проектов.

Открыть
Spatial Front, Inc

Старший разработчик полного стека

Spatial Front, Inc
501 – 1 000 Сотрудники
B2BSaaSПредприятие

Модернизация систем опросов в сфере финансирования образования в Spatial Front, Inc.: разработка сервисов на Python, перенос рабочих нагрузок в облако и создание приложений для обработки данных.

Открыть
Nortal

Ведущий инженер-программист Flutter — Nortal, Украина (гибридный формат)

Nortal
1 001 – 5 000 Сотрудники
КонсалтингЛогистикаМаркетинг

Создавайте масштабируемые приложения на Flutter для международных клиентов Nortal, определяйте архитектуру и повышайте производительность. Работайте в гибкой продуктовой команде и помогайте развиваться коллегам-инженерам.

Открыть
Teamcubate

Старший frontend-разработчик Vue.js

Teamcubate

Создавайте B2B-приложения для нидерландского партнёра-разработчика в международной удалённой команде. Отвечайте за архитектуру фронтенда, интерфейсы, тестирование и производительность.

Открыть
3Shape

Full-Stack-разработчик, ASP.NET Core и Angular

3Shape

Создавайте системы конфигурации продуктов на базе Azure в компании 3Shape, разрабатывающей технологии для стоматологии и слуха. Разрабатывайте микросервисы на ASP.NET Core, функции на Angular и инфраструктуру DevOps.

Открыть
General Motors

Младший исследователь ИИ/МО в General Motors (гибридный формат, Маунтин-Вью)

General Motors

Исследуйте передовые методы ИИ и создавайте прототипы машинного обучения для инженерных разработок и инновационных продуктов General Motors. В этой гибридной должности вы будете работать с исследователями GM R&D и инженерными командами.

Открыть
Tether.to

Инженер-исследователь ИИ: сжатие и квантование моделей

Tether.to

Разрабатывайте методы сжатия больших языковых и мультимодальных моделей для цифровой финансовой платформы Tether на базе блокчейна. Совершенствуйте квантование, дистилляцию и прореживание, чтобы эффективно запускать генеративный ИИ на периферийных устройствах.

Открыть
General Motors

Стажёр-исследователь начального уровня в области ИИ и машинного обучения

General Motors

Исследуйте машинное обучение и робототехнику для интеллектуальной автоматизации производства на летней стажировке в General Motors. Разрабатывайте методы обучения для роботизированных манипуляций, сборки, планирования и управления.

Открыть
UNESCO

Консультант ЮНЕСКО по климатическому образованию — подготовка учителей, Мальдивы

UNESCO

ЮНЕСКО ищет консультанта для включения тем климата, экологической устойчивости и снижения риска бедствий в подготовку учителей на Мальдивах. В задачи входят анализ ресурсов, оценка готовности и разработка инклюзивных учебных материалов.

Открыть
ELIQUENT Life Sciences

Старший управляющий консультант по фармаконадзору (удалённо)

ELIQUENT Life Sciences

Руководите консалтинговыми проектами в области фармаконадзора для ELIQUENT Life Sciences, отвечая за отношения с клиентами, выполнение проектов, развитие бизнеса и профессиональный рост консультантов.

Открыть