高级反机器人抓取工程师(欧洲远程)
为 Adthena 的付费搜索情报平台构建高韧性、大规模抓取系统。围绕 Google 防护、浏览器自动化、提取可靠性和生产可观测性开展工作。
描述
- 使用 Python 为 Google 及其他防护严密的网站创建并运营大规模抓取系统
- 通过浏览器自动化和混合技术,为动态 JavaScript 驱动页面开发抓取程序
- 应对页面结构、请求流程和反自动化控制的变化
- 构建提供准确、一致且可观测数据的提取流水线
- 应用代理、指纹识别和请求路由策略,提升稳定性和吞吐量
- 跟踪抓取健康状况,快速识别故障并排查生产事故
- 提升抓取基础设施的性能、成本效率和延迟表现
- 与数据工程、数据科学和产品团队合作,确保抓取数据可靠且有用
- 维护抓取逻辑和运维流程文档
- 向工程负责人汇报
- 完成两阶段面试流程
任职要求
- 具备 Python 或 Go、Rust、JavaScript 等主要语言的专业生产环境经验,包括大规模抓取系统经验
- 拥有抓取 Google 或类似受保护平台的丰富实践经验
- 深入了解 HTTP、TLS、Cookie、请求头、重定向和浏览器网络行为
- 使用过 Playwright、Selenium、Puppeteer 或同类浏览器自动化框架
- 熟练掌握 HTML 解析、DOM 遍历和数据提取方法
- 具备管理速率限制、CAPTCHA、IP 轮换和机器人检测系统的经验
- 能够自信地使用异步和并发抓取架构
- 具备在云环境中大规模运营抓取程序的经验
- 具备出色的调试能力,并能以结构化方式处理复杂故障模式
- 具备无头浏览器指纹识别和反机器人规避技术经验
- 申请人必须位于西班牙、意大利、葡萄牙、罗马尼亚、匈牙利、捷克共和国、波兰、塞尔维亚、立陶宛、保加利亚、爱沙尼亚、拉脱维亚、塞浦路斯或希腊
- 可在英国时区工作
- 拥有在当前所在地不受签证限制工作的许可
福利待遇
- 股票期权
- 基于信任的休假制度,不设固定休假天数上限
- 远程优先的工作环境
- 灵活的工作安排,可自主规划工作日
- 通过 Sherpa 计划获得量身定制的培训和职业发展支持
- 每月黑客日和培训日
- 最长六个月的全薪产假
- 两个月陪产假
- 200 美元居家办公补贴
- 70 美元公司周边商品欢迎抵用额度
- 生日带薪休假一天
- 夏季和圣诞聚会
- 年度及季度异地团队活动
- 每月聚会
- 每季度带薪志愿服务时间
