高级 Python 数据抓取工程师（自由职业，瑞典远程）
Mindrift 正在寻找一名高级 Python 工程师，为 AI 项目构建可靠的数据抓取流程。 该职位专注于从复杂、动态的网站中提取、验证并扩展结构化数据。
描述
- 负责复杂网站上的完整数据提取流程
- 交付全面、准确且可靠的结构化数据集
- 结合可用工具和定制化工作流程，加快数据收集、验证和任务完成
- 从动态交互式网站收集数据，并适应 JavaScript 渲染内容及不断变化的网站行为
- 通过验证检查、跨来源比对、格式标准和系统化核验保障数据质量
- 通过高效批处理和并行处理扩展大批量数据抓取
- 跟踪提取失败情况，并通过应对网站结构的小幅变化维护系统稳定性
- 结合扎实的技术判断力，使用 Apify、OpenRouter 及其他相关技术
任职要求
- 至少五年数据工程、网页抓取、自动化或软件开发相关经验
- 具备高级 Python 抓取经验，熟悉 BeautifulSoup、Selenium 或同类工具，了解 JavaScript、AJAX、无限滚动等动态内容，以及基于代理的 API
- 能够从复杂结构中提取信息，包括层级结构、存档页面和不一致的 HTML
- 具备为结构化 CSV、JSON 或 Google Sheets 输出清理、规范化和验证数据的经验
- 具备在大规模场景下管理反机器人保护机制及应对网站结构变化的实际经验
- 具备在生产工作流中使用 AWS 或同类云基础设施及 Docker 容器的经验
- 具备将 LangChain、OpenRouter 或类似工具等 LLM 框架应用于自动化的实操经验
- 注重细节，始终关注数据准确性
- 能够独立、自主地进行故障排查和问题解决
- 英语中高级水平（B2）或更高
- 工程、应用数学、计算机科学或相关技术专业的学士或硕士学位优先
- 拥有 GitHub 个人资料优先
福利待遇
- 自由职业合作
- 远程兼职工作
- 项目活跃阶段预计每周 10–20 小时