A AWISEE é uma agência europeia de marketing digital e SEO com foco em link building internacional, relações públicas digitais e marketing de influenciadores e KOLs. Sua equipe totalmente remota realiza prospecção manual e link building white-label para empresas e agências, apoiada por uma rede de publishers que abrange Europa, América Latina, Ásia-Pacífico, América do Norte e outras regiões. Seus serviços de SEO personalizados atendem clientes de setores como SaaS, comércio eletrônico, iGaming, cripto e fintech.
Engenheiro sênior de infraestrutura de dados, web scraping
Crie clusters de scraping com proteção contra bots e pipelines de ingestão de alto desempenho para um laboratório de dados de redes sociais. Desenvolva sistemas escaláveis de armazenamento e dados para apoiar a modelagem de IA.
Descrição
- Desenvolva e mantenha o mecanismo de ingestão do laboratório de dados de redes sociais.
- Construa e opere clusters de scraping furtivo com proxies residenciais, fingerprinting TLS, fazendas de navegadores e rotação de sessões.
- Crie pipelines de scraping resilientes e escaláveis para Instagram, TikTok, YouTube, X e outras fontes da web.
- Projete filas distribuídas e mecanismos de fluxo de trabalho capazes de processar milhões de tarefas assíncronas de scraping por dia.
- Projete arquiteturas de armazenamento estruturado e não estruturado para a modelagem de IA subsequente.
- Configure alertas automatizados para mudanças nas interfaces e APIs das plataformas, padrões de bloqueio e falhas de proxy.
- Entregue milhões de registros de perfis, publicações e vídeos diariamente, mantendo disponibilidade quase contínua.
Requisitos
- Pelo menos quatro anos de experiência com web scraping de alto volume, engenharia de dados ou engenharia reversa.
- Experiência sólida em contornar serviços avançados anti-bot, como Cloudflare, Akamai e PerimeterX, usando impersonação TLS, automação de navegadores e gerenciamento de proxies.
- Domínio de Python ou Go.
- Conhecimento aprofundado de Playwright, Puppeteer, Scrapy ou Selenium.
- Experiência com sistemas distribuídos e filas de tarefas, como Temporal, Ray, Kafka e Redis.
- Sólidos conhecimentos de SQL.
- Experiência com data lakes analíticos modernos ou data warehouses.
- Diferencial: experiência na extração de vídeos curtos e metadados de usuários do TikTok, Instagram e YouTube.
- Diferencial: experiência no envio direto dos resultados de scraping para bancos de dados vetoriais e filas de processamento de IA em tempo real.
Benefícios
- Modelo de trabalho remoto.