Adthena 为企业开发由人工智能驱动的搜索情报与品牌保护软件。其软件即服务平台帮助组织了解市场趋势、评估竞争对手、优化按点击付费广告系列，并提升 Google Ads 投资的效率。Adthena 将专利技术与付费搜索专业知识相结合，为汽车、金融和零售等行业提供支持，帮助全球品牌和代理机构作出以数据为依据的广告决策。
高级反爬虫抓取工程师 — Adthena（远程，英国）
为 Adthena 的付费搜索情报平台构建并运营具备韧性的 Python 抓取系统。解决 Google 反机器人防御、动态页面和可靠大规模数据采集等挑战。
描述
- 设计并运营面向 Google 及其他防护严密网站的大规模 Python 抓取系统
- 使用浏览器自动化和混合技术，为动态 JavaScript 驱动页面开发抓取器
- 针对页面结构、请求流程和反自动化控制的变化调整抓取系统
- 构建注重数据准确性、一致性和可观测性的可靠提取流水线
- 应用代理、指纹识别和请求路由方法，提升稳定性和吞吐量
- 监控抓取系统运行状况，及时识别故障并排查生产事故
- 提升抓取基础设施的性能、成本效率和延迟表现
- 与数据工程、数据科学和产品团队合作，交付可靠且可使用的抓取数据
- 维护清晰的抓取逻辑和运维流程文档
- 向工程负责人汇报
任职要求
- 具备 Python 或 Go、Rust、JavaScript 等主要编程语言的专业经验，包括生产环境抓取系统经验
- 拥有抓取 Google 或类似受保护平台的丰富实践经验
- 深入了解 HTTP、TLS、Cookie、请求头、重定向和浏览器网络通信
- 有使用 Playwright、Selenium、Puppeteer 或类似浏览器自动化框架的经验
- 深入理解 HTML 解析、DOM 遍历和数据提取
- 有管理速率限制、CAPTCHA、IP 轮换和机器人检测系统的经验
- 能够适应异步和并发抓取架构
- 有在云环境中大规模运营抓取器的经验
- 具备出色的调试能力，并能系统化处理复杂故障模式
- 有无头浏览器指纹识别和反机器人规避方法经验
- 熟悉 Docker 和 Kubernetes
- 有使用分布式任务处理系统和作业队列的经验
- 具备数据质量监控和异常检测背景
- 有搜索、广告或竞争情报数据相关工作经验
- 能够向非技术受众清晰解释复杂的技术行为
- 申请表要求填写英国工作许可情况
福利待遇
- 股票期权
- 基于信任的休假政策
- 远程优先的工作环境
- 灵活的工作安排
- 通过 Sherpa 计划获得职业发展和定制培训
- 每月黑客日和专门的培训日
- 最长六个月的全薪产假
- 两个月陪产假
- 200 美元居家办公补贴
- 70 美元公司周边商品欢迎额度
- 生日当天休假
- 夏季和圣诞派对
- 年度及季度团队外出活动
- 每月聚会
- 每季度带薪志愿服务时间
- 初创企业风格的工程文化