Mindrift
Mindrift
501 – 1,000 员工
SaaS人工智能市场
Mindrift 是一家人工智能人才市场和 SaaS 平台,将专业贡献者及领域专家与科技公司的人工智能训练和评估项目连接起来。作为 Toloka 的一部分,Mindrift 与作家、编辑、质量保证专家、科学家及其他领域专家合作,帮助生成训练数据、评估模型的安全性和推理能力、评价媒体质量,并创建用于提升人工智能性能和可靠性的真实场景。Mindrift 通过评估和身份验证招募并审核贡献者,随后为其提供人工智能训练和评估领域灵活且有偿的项目机会。

高级 Python 网页抓取工程师(自由职业,远程)

为 Mindrift 的 AI 项目构建并扩展可靠的 Python 网页抓取工作流。​从复杂的动态网站中提取、验证并交付准确的结构化数据。

描述

  • 执行技术精准的网页抓取和数据处理任务
  • 管理复杂网站上的完整提取工作流,交付全面、准确且可靠的结构化数据集
  • 使用现有工具和定制化工作流,根据既定要求加快数据采集、验证和任务完成
  • 针对 JavaScript 渲染页面、交互式数据源以及不断变化的网站行为调整提取方法
  • 实施数据质量控制,包括验证、跨来源核查、格式标准以及交付前的系统化检查
  • 通过高效批处理或并行处理扩展大批量网页抓取
  • 跟踪提取失败情况,并通过应对网站结构的小幅变化维持运营稳定性
  • 使用 Apify、OpenRouter 及其他相关技术支持抓取工作

任职要求

  • 具备至少 5 年数据工程、网页抓取、自动化或软件开发相关经验
  • 熟练掌握使用 BeautifulSoup、Selenium 或同类工具进行 Python 抓取,能够处理动态内容和基于代理的 API
  • 能够从复杂结构中提取信息,包括层级结构、存档页面和不规则 HTML
  • 能够清理、规范化并验证数据,并以 CSV、JSON 或 Google Sheets 格式交付
  • 能够大规模应对反机器人保护机制和不断变化的网站结构
  • 能够使用 AWS 或同类云基础设施以及基于 Docker 的容器化技术
  • 能够将 LangChain、OpenRouter 或类似 LLM 框架应用于自动化工作流
  • 具备出色的细节关注能力和数据准确性意识
  • 能够独立工作,并以自主方式排查问题
  • 英语达到中高级(B2)或更高水平
  • 拥有工程、应用数学、计算机科学或相关技术学科的学士或硕士学位者优先
  • 拥有 GitHub 个人资料链接者优先

福利待遇

  • 自由职业合作
  • 远程兼职安排
  • 项目活跃阶段每周约 10–20 小时
  • 有机会通过 Mindrift 平台参与创新技术项目