Mindrift
Mindrift
501 – 1,000 员工
SaaS人工智能市场
Mindrift 是一家人工智能人才市场和 SaaS 平台,将专业贡献者及领域专家与科技公司的人工智能训练和评估项目连接起来。作为 Toloka 的一部分,Mindrift 与作家、编辑、质量保证专家、科学家及其他领域专家合作,帮助生成训练数据、评估模型的安全性和推理能力、评价媒体质量,并创建用于提升人工智能性能和可靠性的真实场景。Mindrift 通过评估和身份验证招募并审核贡献者,随后为其提供人工智能训练和评估领域灵活且有偿的项目机会。

高级 Python 数据抓取工程师——自由职业,波兰远程

Mindrift 正在寻找一名高级 Python 工程师,为 AI 项目构建可靠的网页抓取流程。该职位主要负责从复杂的动态网站中提取、验证和处理结构化数据。

描述

  • 管理复杂网站上的完整数据提取流程
  • 交付全面、准确且可靠的结构化数据集
  • 运用工具和定制化流程,加快数据收集、验证和任务执行
  • 可靠地从交互式和动态网页数据源中提取数据
  • 针对 JavaScript 渲染内容和不断变化的网站行为调整抓取方法
  • 通过验证、跨来源核查、格式标准和系统化审查维护数据质量
  • 通过高效的批处理和并行处理应对大规模数据抓取
  • 跟踪提取失败情况,并在网站结构发生细微变化时保持系统稳定
  • 应用 Apify、OpenRouter 及相关技术进行网页提取和数据处理

任职要求

  • 5 年以上数据工程、网页抓取、自动化或软件开发相关经验
  • 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先
  • 具备扎实的脚本编写、自动化和数据提取流程实践基础
  • 具备高级 Python 抓取经验,熟悉 BeautifulSoup、Selenium 或同类工具、JavaScript 和 AJAX 内容、无限滚动以及基于代理的 API
  • 能够从复杂层级结构、存档页面和不一致的 HTML 中提取信息
  • 具备清理、规范化和验证数据的经验,能够以 CSV、JSON 和 Google Sheets 格式交付
  • 具备大规模处理反机器人系统和不断变化的网站结构的经验
  • 具备在生产流程中使用 AWS 或同等云基础设施及 Docker 的实践经验
  • 实际使用过 LangChain、OpenRouter 或类似的 LLM 框架进行自动化
  • 注重细节,强烈关注数据准确性
  • 具备独立工作能力,能够在无需密切监督的情况下调查并解决问题
  • 英语中高级水平(B2)或更高
  • 拥有 GitHub 个人资料者优先

福利待遇

  • 自由职业项目合作
  • 项目活跃阶段每周兼职工作量约为 10–20 小时
  • 从波兰远程工作
  • 薪酬最高相当于每小时 40 美元,具体取决于经验水平和贡献速度