Mindrift
Mindrift
501 – 1,000 员工
SaaS人工智能市场
Mindrift 是一家人工智能人才市场和 SaaS 平台,将专业贡献者及领域专家与科技公司的人工智能训练和评估项目连接起来。作为 Toloka 的一部分,Mindrift 与作家、编辑、质量保证专家、科学家及其他领域专家合作,帮助生成训练数据、评估模型的安全性和推理能力、评价媒体质量,并创建用于提升人工智能性能和可靠性的真实场景。Mindrift 通过评估和身份验证招募并审核贡献者,随后为其提供人工智能训练和评估领域灵活且有偿的项目机会。

高级 Python 网页抓取工程师 – 自由职业远程

为 Mindrift 的 AI 项目构建可靠的 Python 网页抓取与数据处理流程。从复杂、动态的网站中提取、验证并扩展结构化数据集。

描述

  • 负责复杂网站的端到端数据提取流程,交付完整、准确且结构化的数据集
  • 使用现有工具和自定义工作流,加快数据采集、验证及按既定要求执行任务的速度
  • 针对 JavaScript 渲染内容、交互式数据源及不断变化的网站行为,调整数据提取方法
  • 通过验证、跨来源核对、格式控制和系统化检查,持续保障数据质量
  • 通过高效批处理或并行处理,扩展大规模数据集的抓取能力
  • 监控提取失败情况,并通过应对网站结构的小幅变化保持流程稳定
  • 运用网页抓取、数据提取和数据处理专业知识,使用 Apify、OpenRouter 及相关技术工具

任职要求

  • 拥有 5 年以上数据工程、网页抓取、自动化或软件开发相关经验
  • 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先
  • 具备扎实的技术基础,并有脚本编写、自动化和数据提取流程的实践经验
  • 拥有丰富的 Python 抓取经验,熟悉 BeautifulSoup、Selenium 或类似工具,并了解 JavaScript、AJAX、无限滚动和基于代理的 API
  • 能够从复杂层级结构、存档页面和不一致的 HTML 结构中提取数据
  • 具备清理、标准化和验证 CSV、JSON 或 Google Sheets 中结构化数据集的经验
  • 具备大规模处理反机器人机制和网站结构变化的经验
  • 具备 AWS 或同等云基础设施以及 Docker 容器化的实践经验
  • 有将 LangChain、OpenRouter 或类似 LLM 框架应用于自动化任务的实际经验
  • 注重细节,对数据准确性有高度要求
  • 能够自主开展工作并独立排查问题
  • 英语达到中高级水平(B2)或以上
  • 提供 GitHub 链接者优先

福利待遇

  • 自由职业合作
  • 兼职远程工作
  • 项目活跃阶段每周约 10–20 小时