
墨西哥高级 Python 数据抓取工程师(远程)
为 Mindrift 的 AI 平台构建并扩展可靠的网页抓取工作流。 从复杂、动态的网站中提取、验证并交付结构化数据。
描述
- 管理复杂网站上的端到端数据提取工作流,交付完整、准确且可靠的结构化数据集。
- 使用可用工具和定制工作流,根据既定要求加快数据收集、验证和任务执行。
- 通过适应 JavaScript 渲染内容和不断变化的网站行为,可靠地从动态和交互式数据源中提取数据。
- 通过验证检查、跨来源一致性审查、格式要求和系统化交付前核验来维护数据质量。
- 通过高效的批处理和并行处理扩展大规模抓取能力。
- 跟踪提取失败情况,并在网站结构发生轻微变化时保持运营稳定性。
- 与 Tendem Agents 合作,在 Mindrift 的混合 AI 与人工运营模式中执行重复性任务。
- 结合技术专长和定制方法,使用 Apify、OpenRouter 及其他技术工具。
- 运用网页抓取、数据提取和数据处理专业知识,产出准确、可靠且高质量的结果。
任职要求
- 至少需要五年数据工程、网页抓取、自动化或软件开发相关经验。
- 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先。
- 具备使用 BeautifulSoup、Selenium 或类似工具进行 Python 抓取的丰富经验,包括处理 JavaScript、AJAX、无限滚动和代理 API。
- 能够从层级结构、存档页面和不一致的 HTML 等复杂结构中提取信息。
- 具备清理、规范化和验证数据的实践经验,能够以 CSV、JSON 或 Google Sheets 格式交付结构化数据。
- 具备大规模应对反爬措施和不断变化的网站结构的经验。
- 具备在生产工作流中使用 AWS 或同类云基础设施及 Docker 的实践经验。
- 具备将 LangChain 或 OpenRouter 等 LLM 框架应用于自动化任务的经验。
- 对细节有出色的关注力,并始终重视数据准确性。
- 能够独立工作、调查问题并有效排查故障。
- 要求具备 B2 或更高水平的中高级英语能力。
- 拥有 GitHub 个人资料链接者优先。
福利待遇
- 自由职业合作。
- 兼职远程工作。
- 在项目活跃阶段,每周预计工作 10 至 20 小时。
相关职位



Liberty Mutual 远程电话销售代表
Liberty Mutual Insurance$45,000 / 年
远程全职初级中级无需学位必需语言:英语内部销售销售通过为主动来电的潜在客户提供建议,帮助客户选择 Liberty Mutual 保险产品。 该职位提供带薪远程培训和执照培训。
打开


Liberty Mutual 远程电话销售代表
Liberty Mutual Insurance$45,000 – $100,000 / 年
远程全职初级中级必需语言:英语内部销售销售通过接听来电和跟进意向客户,远程销售 Liberty Mutual 保险。 帮助客户选择合适的保障,并完成带薪执照培训。
打开





