高级 Python 数据抓取工程师——自由职业远程
Mindrift 正在寻找一名高级 Python 工程师,为 AI 项目构建可靠的网页抓取与数据处理工作流。该职位专注于从复杂网站提取、验证并规模化处理结构化数据。
描述
- 负责复杂网站上的端到端数据提取工作流
- 交付完整、准确且可靠的结构化数据集
- 运用现有工具和定制工作流,加快数据收集、验证与任务执行
- 从动态交互式来源收集数据,适应 JavaScript 渲染内容及不断变化的网站行为
- 通过验证检查、跨来源一致性审查、格式要求和系统化核验维护数据质量
- 通过高效批处理或并行处理扩展大规模数据抓取
- 监控故障,并通过应对轻微的网站结构变化保持抓取器稳定
- 使用 Apify、OpenRouter 及其他相关技术
任职要求
- 在数据工程、网页抓取、自动化或软件开发领域拥有 5 年以上相关经验
- 英语水平达到 B2 或更高的中高级水平
- 具备扎实的 Python 抓取经验,熟悉 BeautifulSoup、Selenium 或同类工具,能够处理 JavaScript、AJAX、无限滚动等动态内容,并使用基于代理的 API
- 能够从复杂结构中提取信息,包括层级结构、归档页面和不一致的 HTML
- 具备清洗、规范化和验证数据的经验,能够以 CSV、JSON 或 Google Sheets 格式交付
- 具备大规模处理反机器人机制和不断变化的网站结构的经验
- 具备 AWS 或同等云基础设施以及 Docker 容器化的实践经验
- 有使用 LangChain、OpenRouter 或类似 LLM 框架进行自动化的实操经验
- 注重细节,重视数据准确性
- 能够独立工作并有效排查问题
- 拥有工程、应用数学、计算机科学或相关技术学科的学士或硕士学位者优先
- 提供 GitHub 个人主页链接者优先
福利待遇
- 自由职业合作
- 远程兼职工作
- 项目活跃阶段每周约 10–20 小时
- 时薪最高相当于 40 美元,具体取决于经验水平和贡献进度
