高级数据基础设施工程师（网页抓取）
为社交媒体数据实验室构建反爬虫集群和高吞吐量数据摄取管道。 开发可扩展的存储与数据系统，为 AI 建模提供支持。
描述
- 为社交媒体数据实验室开发和维护数据摄取引擎。
- 使用住宅代理、TLS 指纹识别、浏览器集群和会话轮换，构建并运行隐蔽抓取集群。
- 为 Instagram、TikTok、YouTube、X 及其他网络来源创建可靠、可扩展的抓取管道。
- 设计分布式队列和工作流引擎，每天处理数百万个异步抓取任务。
- 为下游 AI 建模设计结构化和非结构化存储。
- 针对平台界面和 API 变更、拦截模式及代理故障设置自动告警。
- 每天交付数百万条个人资料、帖子和视频记录，同时保持近乎持续的可用性。
任职要求
- 至少四年高流量网页抓取、数据工程或逆向工程经验。
- 具备使用 TLS 模拟、浏览器自动化和代理管理绕过 Cloudflare、Akamai、PerimeterX 等高级反爬虫服务的丰富经验。
- 熟练使用 Python 或 Go。
- 深入了解 Playwright、Puppeteer、Scrapy 或 Selenium。
- 具备 Temporal、Ray、Kafka 和 Redis 等分布式系统及任务队列经验。
- 具备扎实的 SQL 技能。
- 具备现代分析型数据湖或数据仓库经验。
- 优先：具备从 TikTok、Instagram 和 YouTube 提取短视频内容及用户元数据的经验。
- 优先：具备将抓取结果直接发送至向量数据库和实时 AI 处理队列的经验。
福利待遇
- 远程工作安排。