Mindrift
Mindrift
501 – 1,000 员工
SaaS人工智能市场
Mindrift 是一家人工智能人才市场和 SaaS 平台,将专业贡献者及领域专家与科技公司的人工智能训练和评估项目连接起来。作为 Toloka 的一部分,Mindrift 与作家、编辑、质量保证专家、科学家及其他领域专家合作,帮助生成训练数据、评估模型的安全性和推理能力、评价媒体质量,并创建用于提升人工智能性能和可靠性的真实场景。Mindrift 通过评估和身份验证招募并审核贡献者,随后为其提供人工智能训练和评估领域灵活且有偿的项目机会。

高级 Python 数据抓取工程师——菲律宾远程职位

Mindrift 正在寻找一名高级 Python 工程师,为 AI 项目构建可靠的数据抓取流程。 该职位专注于从复杂、动态的网站中提取、验证并扩展结构化数据。

描述

  • 管理复杂网站上的完整数据提取流程
  • 生成全面、准确且可靠的结构化数据集
  • 运用工具和定制化流程,加快数据收集、验证和任务交付
  • 从动态及交互式来源收集信息,包括由 JavaScript 渲染的页面
  • 随着网站行为和结构变化调整抓取方法
  • 通过数据验证、跨来源核对、格式规则和系统化审核保障数据质量
  • 通过高效批处理和并行处理扩展大规模数据抓取
  • 跟踪提取失败情况,并通过应对网站细微变化维护工作流程稳定性

任职要求

  • 具备至少五年数据工程、网页抓取、自动化或软件开发相关经验
  • 优先考虑拥有工程、应用数学、计算机科学或相关技术领域学士或硕士学位者
  • 具备扎实的 Python 抓取经验,熟悉 BeautifulSoup、Selenium 或同类工具、动态内容和代理 API
  • 能够从层级结构、存档页面和不一致 HTML 等复杂来源提取信息
  • 能够清理、标准化并验证数据,并以 CSV、JSON 或 Google Sheets 格式交付
  • 能够在大规模抓取项目中应对反机器人保护措施和不断变化的网站结构
  • 使用 AWS 或同类云基础设施以及基于 Docker 的容器化技术
  • 将 LangChain、OpenRouter 或类似的大语言模型框架应用于自动化流程
  • 工作时极度注重细节,并始终专注于数据准确性
  • 能够独立工作,诊断并解决技术问题
  • 英语达到中高级(B2)或更高水平

福利待遇

  • 自由职业项目合作
  • 兼职远程工作安排
  • 项目进行期间每周约 10 至 20 小时
  • 薪酬最高相当于每小时 30 美元,具体取决于经验水平和贡献进度