AWISEE to europejska agencja marketingu cyfrowego i SEO, specjalizująca się w międzynarodowym link buildingu, digital PR oraz marketingu z udziałem influencerów i liderów opinii (KOL). W pełni zdalny zespół prowadzi bezpośrednie działania outreachowe i realizuje link building w modelu white label, korzystając z sieci wydawców obejmującej Europę, Amerykę Łacińską, region Azji i Pacyfiku, Amerykę Północną i inne obszary. Dopasowane usługi SEO agencji wspierają klientów z branż takich jak SaaS, e-commerce, iGaming, kryptowaluty i fintech.
Starszy inżynier infrastruktury danych ds. web scrapingu
Buduj klastry omijające zabezpieczenia antybotowe oraz wysokowydajne potoki pobierania danych dla laboratorium danych mediów społecznościowych. Twórz skalowalne systemy przechowywania i przetwarzania danych wspierające modelowanie AI.
Opis
- Rozwijaj i utrzymuj silnik pobierania danych dla laboratorium danych mediów społecznościowych.
- Buduj i obsługuj dyskretne klastry scrapujące z rezydentnymi serwerami proxy, fingerprintingiem TLS, farmami przeglądarek i rotacją sesji.
- Twórz odporne, skalowalne potoki scrapujące dla Instagramu, TikToka, YouTube’a, X i innych źródeł internetowych.
- Projektuj rozproszone kolejki i silniki przepływu pracy do obsługi milionów asynchronicznych zadań scrapowania dziennie.
- Projektuj ustrukturyzowane i nieustrukturyzowane magazyny danych na potrzeby dalszego modelowania AI.
- Konfiguruj automatyczne alerty o zmianach interfejsów i API platform, wzorcach blokowania oraz awariach serwerów proxy.
- Dostarczaj codziennie miliony rekordów profili, postów i filmów, utrzymując niemal nieprzerwaną dostępność.
Wymagania
- Co najmniej cztery lata doświadczenia w scrapowaniu stron na dużą skalę, inżynierii danych lub inżynierii odwrotnej.
- Duże doświadczenie w omijaniu zaawansowanych usług antybotowych, takich jak Cloudflare, Akamai i PerimeterX, z użyciem podszywania się pod TLS, automatyzacji przeglądarek i zarządzania serwerami proxy.
- Biegła znajomość Pythona lub Go.
- Dogłębna znajomość Playwright, Puppeteer, Scrapy lub Selenium.
- Doświadczenie z systemami rozproszonymi i kolejkami zadań, takimi jak Temporal, Ray, Kafka i Redis.
- Bardzo dobra znajomość SQL.
- Doświadczenie z nowoczesnymi analitycznymi jeziorami danych lub hurtowniami danych.
- Mile widziane: doświadczenie w pozyskiwaniu krótkich filmów i metadanych użytkowników z TikToka, Instagramu i YouTube’a.
- Mile widziane: doświadczenie w bezpośrednim przesyłaniu wyników scrapowania do wektorowych baz danych i kolejek przetwarzania AI w czasie rzeczywistym.
Benefity
- Praca zdalna.