AWISEE е европейска агенция за дигитален маркетинг и SEO, специализирана в международно изграждане на линкове, дигитален PR и маркетинг с инфлуенсъри и KOL. Напълно дистанционният екип извършва ръчен outreach и изграждане на линкове с бял етикет за компании и агенции, като разчита на мрежа от издатели в Европа, Латинска Америка, Азиатско-тихоокеанския регион, Северна Америка и други региони. Персонализираните SEO услуги са предназначени за клиенти от сектори като SaaS, електронна търговия, iGaming, криптовалути и финтех.
Старши инженер по инфраструктура за данни и уеб скрейпинг
Изграждайте клъстери за скрейпинг, които заобикалят ботове, и високопроизводителни потоци за приемане на данни за лаборатория за данни от социални медии. Разработвайте мащабируеми системи за съхранение и данни в подкрепа на моделирането с изкуствен интелект.
Описание
- Разработвайте и поддържайте системата за приемане на данни за лабораторията за данни от социални медии.
- Изграждайте и управлявайте прикрити клъстери за скрейпинг с резидентни прокси сървъри, TLS fingerprinting, ферми от браузъри и ротация на сесии.
- Създавайте устойчиви и мащабируеми потоци за скрейпинг за Instagram, TikTok, YouTube, X и други уеб източници.
- Проектирайте разпределени опашки и системи за работни потоци, които обработват милиони асинхронни задачи за скрейпинг дневно.
- Проектирайте архитектурата на структурирани и неструктурирани хранилища за последващо моделиране с изкуствен интелект.
- Настройвайте автоматични известия за промени в интерфейсите и API-тата на платформите, модели на блокиране и откази на прокси сървъри.
- Доставяйте милиони записи за профили, публикации и видеоклипове дневно при почти непрекъсната наличност.
Изисквания
- Най-малко четири години опит във високопроизводителен уеб скрейпинг, инженерство на данни или обратно инженерство.
- Значителен опит в заобикалянето на усъвършенствани антибот услуги като Cloudflare, Akamai и PerimeterX чрез TLS имитация, автоматизация на браузъри и управление на прокси сървъри.
- Владеене на Python или Go.
- Задълбочени познания по Playwright, Puppeteer, Scrapy или Selenium.
- Опит с разпределени системи и опашки от задачи като Temporal, Ray, Kafka и Redis.
- Добри умения със SQL.
- Опит със съвременни аналитични езера от данни или хранилища за данни.
- Предимство е опитът с извличане на кратки видеоклипове и потребителски метаданни от TikTok, Instagram и YouTube.
- Предимство е опитът с директно изпращане на резултати от скрейпинг към векторни бази данни и опашки за обработка с изкуствен интелект в реално време.
Придобивки
- Възможност за работа от разстояние.