Mindrift
Mindrift
501 – 1,000 员工
SaaS人工智能市场
Mindrift 是一家人工智能人才市场和 SaaS 平台,将专业贡献者及领域专家与科技公司的人工智能训练和评估项目连接起来。作为 Toloka 的一部分,Mindrift 与作家、编辑、质量保证专家、科学家及其他领域专家合作,帮助生成训练数据、评估模型的安全性和推理能力、评价媒体质量,并创建用于提升人工智能性能和可靠性的真实场景。Mindrift 通过评估和身份验证招募并审核贡献者,随后为其提供人工智能训练和评估领域灵活且有偿的项目机会。

墨西哥高级 Python 数据抓取工程师(远程)

为 Mindrift 的 AI 平台构建并扩展可靠的网页抓取工作流。 从复杂、动态的网站中提取、验证并交付结构化数据。

描述

  • 管理复杂网站上的端到端数据提取工作流,交付完整、准确且可靠的结构化数据集。
  • 使用可用工具和定制工作流,根据既定要求加快数据收集、验证和任务执行。
  • 通过适应 JavaScript 渲染内容和不断变化的网站行为,可靠地从动态和交互式数据源中提取数据。
  • 通过验证检查、跨来源一致性审查、格式要求和系统化交付前核验来维护数据质量。
  • 通过高效的批处理和并行处理扩展大规模抓取能力。
  • 跟踪提取失败情况,并在网站结构发生轻微变化时保持运营稳定性。
  • 与 Tendem Agents 合作,在 Mindrift 的混合 AI 与人工运营模式中执行重复性任务。
  • 结合技术专长和定制方法,使用 Apify、OpenRouter 及其他技术工具。
  • 运用网页抓取、数据提取和数据处理专业知识,产出准确、可靠且高质量的结果。

任职要求

  • 至少需要五年数据工程、网页抓取、自动化或软件开发相关经验。
  • 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先。
  • 具备使用 BeautifulSoup、Selenium 或类似工具进行 Python 抓取的丰富经验,包括处理 JavaScript、AJAX、无限滚动和代理 API。
  • 能够从层级结构、存档页面和不一致的 HTML 等复杂结构中提取信息。
  • 具备清理、规范化和验证数据的实践经验,能够以 CSV、JSON 或 Google Sheets 格式交付结构化数据。
  • 具备大规模应对反爬措施和不断变化的网站结构的经验。
  • 具备在生产工作流中使用 AWS 或同类云基础设施及 Docker 的实践经验。
  • 具备将 LangChain 或 OpenRouter 等 LLM 框架应用于自动化任务的经验。
  • 对细节有出色的关注力,并始终重视数据准确性。
  • 能够独立工作、调查问题并有效排查故障。
  • 要求具备 B2 或更高水平的中高级英语能力。
  • 拥有 GitHub 个人资料链接者优先。

福利待遇

  • 自由职业合作。
  • 兼职远程工作。
  • 在项目活跃阶段,每周预计工作 10 至 20 小时。

相关职位

Liberty Mutual Insurance
Liberty Mutual Insurance