罗马尼亚远程高级 Python 数据抓取工程师
高级 Python 工程师，负责为 Mindrift 的 Tendem AI 项目构建可靠的网页抓取和数据处理工作流。该职位重点是从复杂网站中提取、验证并扩展结构化数据集。
描述
- 管理跨复杂网站的完整数据提取工作流，确保结构化数据集覆盖广泛、准确并可靠交付。
- 使用可用工具和定制化工作流，根据项目要求加快数据收集、验证和任务执行。
- 通过适应 JavaScript 渲染内容和不断变化的网站行为，可靠地从动态交互式网站中提取数据。
- 通过数据验证、跨来源一致性检查、格式控制和系统化交付前核验，维护数据质量标准。
- 通过高效批处理或并行处理扩展大规模抓取，调查失败原因，并在网站结构发生小幅变化时保持稳定性。
- 将网页抓取、数据提取和数据处理方面的专业知识应用于 Tendem 项目。
任职要求
- 具备 5 年以上数据工程、网页抓取、自动化或软件开发相关经验。
- 具备使用 BeautifulSoup、Selenium 或同类工具进行 Python 高级抓取的经验，包括 JavaScript、AJAX、无限滚动和基于代理的 API。
- 能够从层级结构、存档页面和不一致 HTML 等复杂结构中提取信息。
- 具备清理、规范化和验证数据的丰富经验，能够生成 CSV、JSON 和 Google Sheets 等结构化输出。
- 具备大规模管理反机器人保护机制和不断变化的网站结构的实际经验。
- 具备在生产工作流中使用 AWS 或同等云基础设施以及 Docker 容器化的经验。
- 具备将 LangChain 或 OpenRouter 等 LLM 框架应用于自动化任务的实践经验。
- 极强的细节关注能力，并始终重视数据准确性。
- 能够独立工作、排查问题并推动任务解决。
- 英语达到 B2 或更高水平的中高级熟练程度。
- 拥有 GitHub 个人资料者优先。
福利待遇
- 自由职业合作。
- 兼职安排。
- 可在罗马尼亚远程工作。
- 项目活跃阶段每周约 10–20 小时。
- 薪酬最高相当于每小时 40 美元。
