AWISEE — европейское агентство цифрового маркетинга и SEO, специализирующееся на международном линкбилдинге, цифровом PR, а также маркетинге с участием инфлюенсеров и лидеров мнений. Полностью удалённая команда занимается персональным взаимодействием с площадками и линкбилдингом под брендом клиента, опираясь на сеть издателей в Европе, Латинской Америке, Азиатско-Тихоокеанском регионе, Северной Америке и других регионах. Индивидуальные SEO-услуги агентства предназначены для клиентов из таких сфер, как SaaS, электронная коммерция, iGaming, криптовалюты и финтех.
Старший инженер инфраструктуры данных: веб-скрейпинг
Создавайте кластеры для обхода антибот-защиты и высокопроизводительные конвейеры сбора данных для лаборатории данных социальных сетей. Разрабатывайте масштабируемые системы хранения и обработки данных для моделей ИИ.
Описание
- Разрабатывайте и поддерживайте движок сбора данных для лаборатории данных социальных сетей.
- Создавайте и обслуживайте скрытные кластеры для скрейпинга с резидентными прокси, TLS-фингерпринтингом, фермами браузеров и ротацией сессий.
- Создавайте отказоустойчивые масштабируемые конвейеры скрейпинга для Instagram, TikTok, YouTube, X и других веб-источников.
- Проектируйте распределённые очереди и движки рабочих процессов для обработки миллионов асинхронных задач скрейпинга в день.
- Проектируйте структурированные и неструктурированные хранилища для последующего моделирования ИИ.
- Настраивайте автоматические оповещения об изменениях интерфейсов и API платформ, шаблонах блокировок и сбоях прокси.
- Ежедневно передавайте миллионы записей профилей, публикаций и видео, поддерживая почти непрерывную доступность.
Требования
- Не менее четырёх лет опыта в высоконагруженном веб-скрейпинге, инженерии данных или реверс-инжиниринге.
- Уверенный опыт обхода продвинутых антибот-сервисов, таких как Cloudflare, Akamai и PerimeterX, с использованием TLS-имитации, автоматизации браузеров и управления прокси.
- Владение Python или Go.
- Глубокое знание Playwright, Puppeteer, Scrapy или Selenium.
- Опыт работы с распределёнными системами и очередями задач, такими как Temporal, Ray, Kafka и Redis.
- Уверенные навыки работы с SQL.
- Опыт работы с современными аналитическими озёрами данных или хранилищами данных.
- Будет преимуществом: опыт извлечения коротких видео и метаданных пользователей из TikTok, Instagram и YouTube.
- Будет преимуществом: опыт прямой передачи результатов скрейпинга в векторные базы данных и очереди обработки ИИ в реальном времени.
Преимущества
- Удалённый формат работы.