后端工程师，数据采集（反诈骗）— Gogolook，台湾混合办公
为 Gogolook 的 Watchmen 品牌保护平台构建可扩展的爬虫基础设施和欺诈信号处理管道。 用具备韧性的内部系统替代成本高昂的外部爬虫服务。
描述
- 在社交平台和公共网站上构建并运营生产级网页爬虫基础设施
- 使用无头浏览器、IP 轮换、调度、速率限制、重试、可观测性和自动恢复机制，开发具备韧性的采集系统
- 负责提取和标准化管道，将爬取内容转换为结构化欺诈信号
- 主导从外部爬虫服务向高性价比内部解决方案的迁移
- 提升基础设施的成本效益、性能和架构水平
- 与后端、数据和产品团队合作，将爬虫输出连接至 Watchmen 及更广泛的欺诈情报系统
- 提升技术质量，减少累积的技术债务
- 与法务和安全团队协调合规、隐私、留存和可审计性事宜
- 将爬虫覆盖范围扩展至更多社交平台和欺诈指标
- 为 B2B 产品及 AI/ML 检测计划创建可复用的爬虫基础设施
任职要求
- 具备在大规模生产环境中构建和运营爬虫的实际经验
- 具备使用 Playwright、Puppeteer 或同类无头浏览器工具设计高韧性采集系统的经验
- 具备大规模 URL 调度和结构化数据提取管道的设计经验
- 深入理解 HTTP 和 TLS 协议内部机制
- 能够评估机器人检测信号并开发稳健的采集系统
- 精通 Python 和 JavaScript
- 具备 AWS 基础设施实践经验，使用过 EC2、ECS、Lambda 和 S3 等服务
- 具备三至七年数据采集或后端系统软件工程经验
- 有使用 Claude Code 或 Codex 等 AI 编程代理的实践经验
- 具备出色的跨职能协作能力，能够适应混合办公环境
- 具备能够用书面英语编写技术文档的工作能力
福利待遇
- 有机会参与技术社区活动
- 提供参加会议和工作坊的补助
- 支持职业发展和持续学习
- 灵活的混合办公安排
- 透明的文化，能够获取公司信息并通过多种渠道反馈意见