AWISEE — європейська агенція цифрового маркетингу та SEO, що спеціалізується на міжнародному лінкбілдингу, цифровому PR, а також маркетингу за участю інфлюенсерів і лідерів думок. Повністю віддалена команда працює з майданчиками безпосередньо та надає послуги лінкбілдингу під брендом клієнта, спираючись на мережу видавців у Європі, Латинській Америці, Азійсько-Тихоокеанському регіоні, Північній Америці та інших регіонах. Індивідуальні SEO-послуги агенції призначені для клієнтів із таких сфер, як SaaS, електронна комерція, iGaming, криптовалюти та фінтех.
Старший інженер інфраструктури даних: вебскрейпінг
Створюйте кластери для обходу антибот-захисту та високопродуктивні конвеєри збору даних для лабораторії даних соціальних мереж. Розробляйте масштабовані системи зберігання й обробки даних для моделей ШІ.
Опис
- Розробляйте й підтримуйте рушій збору даних для лабораторії даних соціальних мереж.
- Створюйте й обслуговуйте приховані кластери скрейпінгу з резидентними проксі, TLS-фінгерпринтингом, фермами браузерів і ротацією сесій.
- Створюйте стійкі до збоїв масштабовані конвеєри скрейпінгу для Instagram, TikTok, YouTube, X та інших вебджерел.
- Проєктуйте розподілені черги й рушії робочих процесів для обробки мільйонів асинхронних завдань скрейпінгу щодня.
- Проєктуйте структуровані й неструктуровані сховища для подальшого моделювання ШІ.
- Налаштовуйте автоматичні сповіщення про зміни інтерфейсів і API платформ, шаблони блокувань і збої проксі.
- Щодня передавайте мільйони записів профілів, дописів і відео, забезпечуючи майже безперервну доступність.
Вимоги
- Щонайменше чотири роки досвіду у високонавантаженому вебскрейпінгу, інженерії даних або реверс-інжинірингу.
- Впевнений досвід обходу просунутих антибот-сервісів, як-от Cloudflare, Akamai та PerimeterX, за допомогою TLS-імперсонації, автоматизації браузерів і керування проксі.
- Володіння Python або Go.
- Ґрунтовне знання Playwright, Puppeteer, Scrapy або Selenium.
- Досвід роботи з розподіленими системами й чергами завдань, як-от Temporal, Ray, Kafka та Redis.
- Впевнені навички SQL.
- Досвід роботи із сучасними аналітичними озерами даних або сховищами даних.
- Буде перевагою: досвід вилучення коротких відео й метаданих користувачів із TikTok, Instagram і YouTube.
- Буде перевагою: досвід прямого надсилання результатів скрейпінгу до векторних баз даних і черг обробки ШІ в реальному часі.
Переваги
- Віддалений формат роботи.