高级 Python 数据抓取工程师（自由职业，埃及远程）
为 Mindrift 的 AI 项目构建可靠的 Python 抓取系统。 从复杂的动态网站提取、验证并扩展结构化数据。
描述
- 管理复杂网站上的完整数据提取流程
- 交付全面、准确且可靠的结构化数据集
- 使用工具和定制化工作流程，加快数据收集、验证和任务完成
- 可靠地从动态、交互式和 JavaScript 渲染的数据源中提取数据
- 根据网站行为和结构的变化调整抓取方法
- 通过验证、跨来源核查、格式标准和系统性审查保障数据质量
- 通过高效的批处理或并行处理扩展大规模数据集的抓取
- 跟踪提取失败情况，并在网站发生小幅变化时保持系统稳定
- 将网页抓取、数据提取和数据处理方面的专业知识应用于 Tendem 项目
任职要求
- 拥有 5 年以上数据工程、网页抓取、自动化或软件开发相关经验
- 工程、应用数学、计算机科学或相关技术领域的学士或硕士学位优先
- 具备高级 Python 抓取经验，熟悉 BeautifulSoup、Selenium 或同类工具，以及 JavaScript/AJAX 内容、无限滚动、API 和代理
- 能够从层级结构、归档页面和不一致 HTML 等复杂结构中提取信息
- 具备出色的数据清洗、标准化和验证能力，并有生成 CSV、JSON 或 Google Sheets 数据集的经验
- 具备在大规模环境中应对反机器人保护机制和不断变化的网站结构的实际经验
- 具备 AWS 或同类云基础设施以及基于 Docker 的容器化经验
- 实际使用过 LangChain、OpenRouter 或类似工具等 LLM 框架进行自动化
- 极度注重细节，始终专注于数据准确性
- 能够独立工作、排查问题，并在极少监督下管理任务
- 英语水平达到中高级（B2）或更高
- 拥有 GitHub 个人资料或作品集链接者优先
福利待遇
- 自由职业项目合作
- 在项目活跃阶段，每周兼职工作量约为 10–20 小时
- 远程工作
- 根据项目需求灵活安排工作量