高级 Python 网页抓取工程师——巴西远程
负责为 Mindrift 的人工智能技术项目提供可靠的网页抓取、数据验证和结构化数据交付。工作内容涵盖动态网站、反机器人系统、云基础设施以及基于大语言模型的自动化工具。
描述
- 负责跨复杂网站的完整数据提取流程
- 交付覆盖全面、准确度高且按时可靠的结构化数据集
- 使用现有工具和定制化工作流程,加快数据收集、验证和任务执行
- 从动态和交互式来源中提取信息,包括由 JavaScript 渲染的页面
- 根据网站行为变化调整抓取方法
- 通过数据验证、跨来源核查、格式要求和系统化检查维护数据质量
- 通过高效批处理或并行处理扩展大批量网页抓取
- 跟踪失败情况,并通过应对网站结构的小幅变化保持稳定性
- 将 Apify、OpenRouter 及相关技术集成到抓取和处理工作流程中
任职要求
- 至少五年数据工程、网页抓取、自动化或软件开发相关经验
- 工程、应用数学、计算机科学或相关技术领域的学士或硕士学位优先
- 具备扎实的技术基础,并有脚本编写、自动化和数据提取工作流程的实践经验
- 拥有丰富的 Python 抓取经验,熟悉 BeautifulSoup、Selenium 或同类工具、动态内容以及基于代理的 API
- 能够从复杂结构中提取信息,包括层级结构、存档页面和不一致的 HTML
- 具备扎实的数据清理、标准化和验证经验
- 具备大规模处理反机器人系统和动态网站结构的实践能力
- 具备 AWS 或同类云基础设施以及 Docker 容器化经验
- 有将 LangChain、OpenRouter 或类似大语言模型框架应用于自动化任务的实践经验
- 高度注重细节,致力于确保数据准确性
- 能够自主工作并独立排查问题
- 英语中高级水平(B2)或更高
- 提供 GitHub 个人资料链接者优先
福利待遇
- 自由职业合作
- 兼职远程工作
- 项目活跃阶段每周约 10–20 小时
- 薪酬最高相当于每小时 25 美元,具体取决于经验水平和贡献速度
- 有机会参与创新技术和人工智能开发项目
