Mindrift
Mindrift
501 – 1,000 员工
SaaS人工智能市场
Mindrift 是一家人工智能人才市场和 SaaS 平台,将专业贡献者及领域专家与科技公司的人工智能训练和评估项目连接起来。作为 Toloka 的一部分,Mindrift 与作家、编辑、质量保证专家、科学家及其他领域专家合作,帮助生成训练数据、评估模型的安全性和推理能力、评价媒体质量,并创建用于提升人工智能性能和可靠性的真实场景。Mindrift 通过评估和身份验证招募并审核贡献者,随后为其提供人工智能训练和评估领域灵活且有偿的项目机会。

高级 Python 网页抓取工程师(自由职业,葡萄牙远程)

为 Mindrift 的 Tendem AI 项目构建可靠的网页抓取和数据处理管道。 从复杂且动态的网站中提取、验证并扩展结构化数据集。

描述

  • 负责从复杂网站进行端到端数据提取,交付完整、准确且可靠的结构化数据集
  • 使用工具和定制化工作流,加快数据收集、验证和任务完成
  • 从动态及交互式来源收集数据,适应 JavaScript 渲染内容和不断变化的网站行为
  • 通过验证检查、跨来源比对、格式要求和系统化审核,维护数据质量
  • 通过高效批处理或并行处理,扩展大规模数据集的抓取操作
  • 跟踪提取失败情况,并在网站发生轻微结构变化时保持系统稳定
  • 在专业化的 Tendem 项目工作流中运用网页抓取、数据提取和数据处理方面的专业知识

任职要求

  • 具备至少五年数据工程、网页抓取、自动化或软件开发相关经验
  • 具备扎实的 Python 抓取技能,熟悉 BeautifulSoup、Selenium 或同类工具、JavaScript 和 AJAX 内容、无限滚动、API 及代理
  • 能够从复杂层级结构、存档页面和不一致的 HTML 中提取信息
  • 具备数据清洗、规范化和验证的扎实基础,并有生成结构化 CSV、JSON 和 Google Sheets 数据集的经验
  • 具备大规模处理反机器人保护机制和不断变化的网站结构的经验
  • 具备 AWS 或同类云基础设施以及基于 Docker 的容器化经验
  • 具备将 LangChain、OpenRouter 或类似工具等 LLM 框架应用于自动化任务的实践经验
  • 注重细节,始终专注于数据准确性
  • 能够独立工作,主动负责故障排查,并保持自我驱动的工作方式
  • 英语达到中高级(B2)或更高水平
  • 拥有工程、应用数学、计算机科学或相关技术学科的学士或硕士学位者优先
  • 拥有 GitHub 个人资料链接者优先

福利待遇

  • 自由职业合作
  • 项目活跃阶段预计每周兼职工作 10–20 小时
  • 远程工作安排
  • 有机会通过 Mindrift 平台参与创新技术项目