Mindrift
Mindrift
501 – 1,000 员工
SaaS人工智能市场
Mindrift 是一家人工智能人才市场和 SaaS 平台,将专业贡献者及领域专家与科技公司的人工智能训练和评估项目连接起来。作为 Toloka 的一部分,Mindrift 与作家、编辑、质量保证专家、科学家及其他领域专家合作,帮助生成训练数据、评估模型的安全性和推理能力、评价媒体质量,并创建用于提升人工智能性能和可靠性的真实场景。Mindrift 通过评估和身份验证招募并审核贡献者,随后为其提供人工智能训练和评估领域灵活且有偿的项目机会。

意大利高级 Python 数据抓取工程师(远程)

加入 Mindrift 的 Tendem AI 项目,构建可靠的网页抓取和结构化数据处理管道。该职位专注于动态网站、数据验证、可扩展提取和自动化。

描述

  • 负责复杂网站的完整数据提取流程,交付全面、准确且可靠的结构化数据集
  • 使用现有平台和定制化工作流程,根据既定规范加快数据收集、验证和任务完成
  • 针对 JavaScript 渲染页面、交互式数据源以及不断变化的网站行为调整提取方法
  • 通过数据验证、跨来源核查、格式控制和交付前结构化审查维护数据质量
  • 通过高效的批处理和并行处理提升大规模数据集的抓取能力
  • 跟踪提取失败情况,并在网站结构变化时保持运营可靠性
  • 将网页抓取、数据提取和处理方面的专业知识应用于 Tendem 项目
  • 结合技术判断力与 Apify、OpenRouter 及其他工具,开发有效的定制化解决方案

任职要求

  • 必须具备 5 年以上数据工程、网页抓取、自动化或软件开发相关经验
  • 拥有工程、应用数学、计算机科学或相关技术领域的学士或硕士学位者优先
  • 具备使用 BeautifulSoup、Selenium 或同类工具进行 Python 高级抓取的经验,熟悉动态内容和代理 API
  • 能够从层级结构、存档页面和不一致的 HTML 等复杂来源获取数据
  • 具备清理、规范化和验证数据,并以 CSV、JSON 或 Google Sheets 格式交付的经验
  • 具备大规模应对反机器人保护机制和不断变化的网站结构的实践经验
  • 熟悉 AWS 或同类云基础设施,以及基于 Docker 的容器化
  • 实际使用过 LangChain、OpenRouter 或类似的 LLM 框架进行自动化
  • 注重细节,对数据准确性有强烈要求
  • 能够独立工作、调查问题并在无需密切监督的情况下解决问题
  • 必须具备中高级英语水平(B2)或更高水平
  • 拥有 GitHub 个人资料链接者优先

福利待遇

  • 自由职业合作
  • 兼职远程工作安排
  • 项目活跃期间预计每周工作 10–20 小时

相关职位