高级 Python 数据抓取工程师(自由职业,希腊远程)
为 Mindrift 的 AI 技术项目构建并扩展可靠的 Python 抓取工作流。 从复杂的动态网站提取、验证并交付结构化数据集。
描述
- 管理复杂网站上的端到端数据提取工作流
- 交付完整、准确且可靠的结构化数据集
- 应用工具和定制工作流,加快数据收集、验证和任务执行
- 从动态和交互式来源收集数据,包括 JavaScript 渲染的页面
- 根据网站行为变化调整抓取方法
- 通过验证、跨来源检查、格式标准和系统化核验维护数据质量
- 通过高效批处理或并行处理扩展大数据集抓取
- 监控提取失败情况,并通过网站结构的小幅变化保持稳定性
任职要求
- 5 年以上数据工程、网页抓取、自动化或软件开发相关经验
- 具备高级 Python 网页抓取经验,熟悉 BeautifulSoup、Selenium 或同类工具、动态内容及基于代理的 API
- 能够从复杂结构中提取信息,包括层级结构、存档页面和不一致的 HTML
- 具备清理、标准化和验证数据的经验,能够以 CSV、JSON 和 Google Sheets 格式交付结构化数据
- 具备大规模应对反机器人系统和网站结构变化的经验
- 具备 AWS 或同等云基础设施以及 Docker 容器化经验
- 具备将 LangChain 或 OpenRouter 等 LLM 框架应用于自动化任务的实践经验
- 对数据准确性一丝不苟
- 具备独立、自主的问题排查能力
- 英语中高级水平(B2)或更高
- 工程、应用数学、计算机科学或相关技术领域的学士或硕士学位优先
- 拥有 GitHub 个人主页优先
福利待遇
- 远程工作
- 在项目活跃阶段每周兼职工作约 10–20 小时
- 自由职业合作
- 通过 Mindrift 平台参与创新技术项目
