高级 Python 数据抓取工程师（自由职业／远程）
为 Mindrift 的 AI 项目构建并运营可扩展的 Python 抓取工作流。 从复杂的动态网站提取、验证和处理结构化数据。
描述
- 负责 Tendem 项目及实际应用中的专业抓取工作流
- 管理复杂网站的端到端数据提取
- 交付完整、准确且可靠的结构化数据集
- 运用现有工具和定制工作流，加快数据采集、验证和任务执行
- 抓取动态和交互式数据源，适应 JavaScript 渲染内容及不断变化的网站行为
- 通过验证、跨来源核对、格式标准和系统化审查维护数据质量
- 通过高效批处理或并行处理扩展大规模抓取
- 监控故障，并通过应对网站结构的细微变化保持系统稳定
- 结合技术专长和定制化解决方案，使用 Apify、OpenRouter 及相关技术
任职要求
- 必须具备至少五年数据工程、网络抓取、自动化或软件开发相关经验
- 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先
- 具备扎实的脚本编写、自动化和数据提取工作流实践基础
- 拥有丰富的 Python 抓取经验，熟悉 BeautifulSoup、Selenium 或同类工具、JavaScript 和 AJAX 内容、无限滚动及代理 API
- 能够从层级结构、存档页面和不一致 HTML 等复杂结构中提取信息
- 具备清理、规范化和验证数据，并以结构化 CSV、JSON 或 Google Sheets 交付的经验
- 拥有大规模应对反机器人措施和不断变化的网站结构的实践经验
- 具备 AWS 或同等云基础设施以及基于 Docker 的容器化实践经验
- 具备将 LangChain、OpenRouter 或类似 LLM 框架应用于自动化任务的经验
- 高度注重细节，重视数据准确性
- 能够独立工作并有效排查问题
- 拥有 GitHub 个人资料者优先
- 必须具备 B2 或更高水平的中高级英语能力
福利待遇
- 自由职业合作
- 远程兼职安排
- 项目活跃期间每周约 10 至 20 小时
- 有机会通过 Mindrift 平台参与创新技术项目