高级 Python 数据抓取工程师——在日本远程工作
为 Mindrift 的 Tendem AI 项目构建可靠的 Python 网页抓取流程。\n从复杂、动态的网站中提取、验证并扩展结构化数据集。
描述
- 负责复杂网站的端到端数据提取
- 交付完整、准确且可靠的结构化数据集
- 使用现有工具和定制工作流,加快数据收集、验证和任务执行
- 从动态和交互式来源提取数据,包括 JavaScript 渲染的内容
- 根据网站行为变化调整抓取方法
- 通过验证、跨来源检查、格式标准和系统化核验维护数据质量
- 通过高效批处理或并行处理扩展大批量数据抓取
- 监控失败情况,并在网站结构发生小幅变化时保持系统稳定
- 应用 Apify、OpenRouter 及其他技术进行网页数据提取和处理
任职要求
- 至少 5 年数据工程、网页抓取、自动化或软件开发相关经验
- 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先
- 具备扎实的 Python 抓取经验,熟悉 BeautifulSoup、Selenium 或类似工具,能够处理 JavaScript、AJAX 和无限滚动等动态内容,并能通过代理访问 API
- 能够从复杂结构中提取数据,包括层级结构、存档页面和不一致的 HTML
- 具备扎实的数据清洗、规范化和验证经验,并有交付 CSV、JSON 或 Google Sheets 数据集的经验
- 具备大规模管理反机器人机制和动态网站结构的经验
- 具备 AWS 或同等云基础设施经验
- 具备使用 Docker 进行容器化的经验
- 具备使用 LangChain、OpenRouter 或类似自动化工具等 LLM 框架的实操经验
- 注重细节,致力于确保数据准确性
- 具有自我驱动能力,能够独立排查和解决问题
- 英语中高级水平(B2)或更高
- 提供 GitHub 链接者优先
福利待遇
- 自由职业机会
- 兼职工作,活跃阶段预计每周约 10–20 小时
- 远程工作
- 有机会参与创新技术和人工智能开发项目
