高级 Python 数据采集工程师 - 兼职远程
负责为 Mindrift 的 AI 技术项目构建可靠的网页采集与结构化数据交付流程。 自动化处理复杂动态网站的数据提取、验证与规模化处理。
描述
- 负责复杂网站的端到端数据提取
- 交付完整、准确且可靠的结构化数据集
- 使用工具和定制工作流加快数据收集、验证与任务执行
- 从动态网页来源提取数据，同时适应 JavaScript 内容和不断变化的网站行为
- 通过验证、一致性检查、格式控制和系统化核验维护数据质量
- 通过高效的批处理和并行处理扩展大规模数据采集
- 监控失败情况，并在网站结构发生小幅变化时保持系统稳定
- 应用 Apify、OpenRouter 及相关技术进行网页提取和数据处理
任职要求
- 在数据工程、网页采集、自动化或软件开发领域拥有 5 年以上相关经验
- 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先
- 具备扎实的技术能力，并有脚本编写、自动化和数据提取工作流的实践经验
- 具备高级 Python 网页采集经验，熟悉 BeautifulSoup、Selenium 或类似工具、动态 JavaScript/AJAX 内容、无限滚动和代理 API
- 能够从复杂层级结构、存档页面和不一致的 HTML 中提取信息
- 具备清理、标准化和验证数据，并以 CSV、JSON 或 Google Sheets 格式交付的经验
- 具备大规模管理反机器人机制和不断变化的网站结构的经验
- 具备 AWS 或同等云基础设施以及 Docker 容器化经验
- 有将 LangChain、OpenRouter 或类似 LLM 框架应用于自动化的实践经验
- 对数据准确性和质量一丝不苟
- 能够独立工作并有效排查问题
- 英语水平达到中高级（B2）或以上
- 提供 GitHub 个人资料链接者优先
福利待遇
- 自由职业合作
- 兼职远程工作
- 活跃阶段每周约 10–20 小时
- 时薪最高相当于 25 美元，具体取决于经验水平和贡献速度
- 有机会通过 Mindrift 平台参与创新技术项目
