高级 Python 数据抓取工程师——罗马尼亚远程自由职业
Mindrift 正在寻找一名高级 Python 工程师，为 AI 项目构建可靠的数据抓取与提取工作流。 该职位专注于将动态网站转换为准确、经过验证的结构化数据集。
描述
- 管理复杂网站上的完整数据提取工作流
- 交付全面、准确且可靠的结构化数据集
- 使用现有工具和定制化工作流，加快数据收集、验证和任务完成
- 可靠抓取动态和交互式网站，适应 JavaScript 渲染内容及不断变化的网站行为
- 通过数据验证、跨来源核查、格式要求和系统化审查维护数据质量
- 通过高效批处理或并行处理扩展大规模数据抓取
- 跟踪提取失败情况，并通过应对网站结构的小幅变化保持工作流稳定
- 在网页提取和数据处理工作流中使用 Apify、OpenRouter 及相关技术
任职要求
- 至少需要 5 年数据工程、网页抓取、自动化或软件开发相关经验
- 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先
- 具备扎实的技术基础，并拥有脚本编写、自动化和数据提取工作流的实践经验
- 具备高级 Python 抓取经验，熟悉 BeautifulSoup、Selenium 或同类工具、JavaScript/AJAX 内容、无限滚动和基于代理的 API
- 能够从复杂来源提取信息，包括层级结构、存档页面和不一致的 HTML
- 具备出色的数据清洗、规范化和验证能力，并有生成 CSV、JSON 或 Google Sheets 数据集的经验
- 拥有大规模应对反机器人系统和不断变化的网站结构的实践经验
- 具备 AWS 或同类云基础设施以及 Docker 容器化实践经验
- 实际使用过 LangChain、OpenRouter 或类似的 LLM 框架开展自动化工作
- 注重细节和数据准确性
- 能够独立工作、调查问题并在无需密切监督的情况下解决问题
- 要求具备中高级英语水平（B2）或更高水平
福利待遇
- 自由职业合作方式
- 项目活跃期间每周约 10 至 20 小时的兼职工作量
- 远程工作安排
- 时薪最高相当于 40 美元，具体取决于经验水平和贡献速度