资深 Python 数据抓取工程师 — 自由职业远程
为 Mindrift 的 Tendem AI 项目构建和维护准确、可扩展的网页抓取流程。 使用 Python 和自动化工具提取、验证并处理复杂网页数据。
描述
- 负责复杂网站从头到尾的数据提取
- 交付覆盖全面、准确度高且周转可靠的结构化数据集
- 结合现有工具与定制工作流,加快数据收集、验证和任务完成
- 从动态交互式网站收集数据,并适应 JavaScript 渲染内容及不断变化的网站行为
- 通过验证流程、跨来源检查、格式标准和系统化审核保障数据集质量
- 通过高效批处理或并行执行,提升大规模数据集的抓取能力
- 跟踪提取失败情况,并在网站结构发生小幅变化时保持流程稳定
- 结合使用 Apify 和 OpenRouter,并运用扎实的技术判断力
任职要求
- 具备至少五年数据工程、网页抓取、自动化或软件开发相关经验
- 具备扎实的 Python 抓取技能,熟悉 BeautifulSoup、Selenium 或同类工具、JavaScript 和 AJAX 内容、无限滚动以及基于代理的 API
- 能够从层级结构、存档页面和 HTML 不一致等复杂来源中获取数据
- 了解如何清洗、规范化和验证数据,并以 CSV、JSON 和 Google Sheets 格式交付结构化结果
- 具备在大规模场景下应对反机器人保护措施和不断变化的网站结构的实际经验
- 曾在实际项目中使用 AWS 或同类云基础设施及 Docker 容器化
- 曾将 LangChain 或 OpenRouter 等 LLM 框架应用于自动化工作
- 注重细节,高度重视数据准确性
- 能够独立工作、主动推进,并在无需密切监督的情况下排查问题
- 英语达到中高级(B2)或更高水平
- 工程、应用数学、计算机科学或相关技术领域的学士或硕士学位优先
- 有 GitHub 个人资料链接优先
福利待遇
- 远程开展的兼职自由职业合作
- 项目活跃阶段每周约 10–20 小时
- 薪酬最高相当于每小时 25 美元,具体取决于经验水平和贡献速度
