高级 Python 数据抓取工程师——印度远程工作
负责为 Mindrift 的 Tendem AI 项目构建可靠抓取流程的高级 Python 工程师。该职位专注于从复杂、动态网站中提取、验证并扩展结构化数据。
描述
- 管理复杂网站上的完整数据提取流程，确保结构化数据集具有广泛覆盖面、准确性和可靠交付能力。
- 使用可用工具和定制化工作流程改进数据收集、验证和任务执行，同时满足既定要求。
- 通过适应 JavaScript 渲染内容和不断变化的网站行为，可靠地从动态及交互式数据源中提取数据。
- 在交付前通过验证检查、跨来源比对、格式控制和系统化核验维护数据质量。
- 通过高效的批处理和并行处理技术扩展大批量抓取能力。
- 跟踪提取失败情况，并在网站结构发生轻微变化时保持工作流程稳定。
- 运用网页抓取、数据提取和数据处理方面的专业知识，解决 Tendem 项目中的实际应用场景。
任职要求
- 具备 5 年以上数据工程、网页抓取、自动化或软件开发相关经验。
- 具备扎实的 Python 抓取经验，熟悉 BeautifulSoup、Selenium 或同类工具，包括 JavaScript、AJAX、无限滚动和基于代理的 API 访问。
- 能够从层级结构、存档页面和 HTML 不一致等复杂结构中提取信息。
- 具备清理、规范化和验证数据的实际经验，能够以 CSV、JSON 或 Google Sheets 格式交付。
- 具备在大规模抓取工作流程中处理反机器人措施和不断变化的网站结构的经验。
- 具备在生产工作流程中使用 AWS 或同类云基础设施以及基于 Docker 的容器化技术的实践经验。
- 具备将 LangChain、OpenRouter 或类似工具等 LLM 框架应用于自动化任务的经验。
- 注重细节，始终关注数据准确性。
- 能够独立工作、调查问题并有效排查故障。
- 英语达到 B2 或以上的中高级水平。
福利待遇
- 自由职业合作。
- 在印度进行兼职远程工作。
- 项目活跃阶段每周约 10–20 小时。