B
高级 Python 网页抓取工程师——沙特阿拉伯远程
负责为 Mindrift 的 Tendem AI 项目开发可靠的网页抓取和数据处理流程的高级 Python 工程师。该职位专注于从复杂网站提取、验证并扩展结构化数据集。
描述
- 负责跨复杂网站的完整数据提取流程
- 确保结构化数据集覆盖全面、结果准确并可靠交付
- 使用现有工具和定制化流程加快数据收集、验证和任务执行
- 持续从动态及交互式网页来源获取数据
- 针对 JavaScript 渲染内容和不断变化的网站行为调整提取方法
- 通过验证检查、跨来源比对、格式规则和系统化核验保障数据质量
- 通过高效批处理或并行处理扩展大规模网页抓取
- 跟踪失败情况，并在网站结构发生细微变化时保持流程稳定
- 在网页提取和数据处理流程中使用 Apify、OpenRouter 及相关技术
任职要求
- 具有 5 年以上数据工程、网页抓取、自动化或软件开发相关经验
- 优先考虑拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位
- 具备高级 Python 网页抓取经验，包括 BeautifulSoup、Selenium 或同类工具、动态内容及基于代理的 API
- 能够从层级结构、存档页面和不一致 HTML 等复杂结构中提取信息
- 具有清理、规范化和验证数据，并以 CSV、JSON 或 Google Sheets 格式交付的经验
- 具有应对反机器人系统和大规模变化的网站结构的实践经验
- 具有 AWS 或同类云基础设施经验
- 具有使用 Docker 打包应用程序的经验
- 实际使用 LangChain、OpenRouter 或类似 LLM 框架执行自动化任务
- 注重细节，始终关注数据准确性
- 能够独立工作、自主安排任务并排查问题
- 英语达到中高级水平（B2）或更高
- 拥有 GitHub 个人资料者优先
福利待遇
- 兼职自由职业合作
- 项目活跃阶段每周约 10 至 20 小时
- 时薪等值最高 37 美元，具体取决于贡献程度和工作进度
- 灵活的项目制工作量，报酬根据工作范围、复杂程度和所需专业能力而变化
- 有机会参与技术和人工智能开发项目
