高级 Python 数据抓取工程师(兼职,格鲁吉亚远程)
Mindrift 正在寻找一名高级 Python 工程师,为人工智能技术项目构建可靠的数据抓取流程。 该职位主要负责从复杂的动态网站中提取、验证并扩展结构化数据集。
描述
- 管理复杂网站上的端到端数据提取流程
- 交付完整、准确且可靠的结构化数据集
- 利用现有工具和自定义工作流程,加快数据收集、验证和任务执行
- 从动态和交互式网页来源中提取数据,包括 JavaScript 渲染的页面
- 根据网站行为变化调整抓取方法
- 通过验证检查、跨来源一致性控制、格式要求和系统化核验维护数据质量
- 通过高效的批处理或并行处理扩展大数据集抓取
- 监控失败情况,并在网站结构发生小幅变化时保持系统稳定
- 结合使用 Apify、OpenRouter 等工具与相关技术专长
任职要求
- 至少 5 年数据工程、网页抓取、自动化或软件开发相关经验
- 优先考虑拥有工程、应用数学、计算机科学或相关技术领域本科或硕士学位者
- 具备扎实的 Python 网页抓取经验,熟悉 BeautifulSoup、Selenium 或同类工具、动态内容,以及通过代理访问的 API
- 能够从复杂结构中提取信息,包括层级结构、存档页面和不一致的 HTML
- 具备清理、标准化和验证数据的丰富经验,能够以 CSV、JSON 或 Google Sheets 格式交付
- 具备大规模处理反机器人机制和动态网站结构的实际经验
- 具备 AWS 或同类云基础设施以及基于 Docker 的容器化经验
- 有将 LangChain 或 OpenRouter 等 LLM 框架应用于自动化任务的实践经验
- 高度注重细节,并始终重视数据准确性
- 能够独立工作,并在无需密切监督的情况下排查问题
- 英语中高级水平(B2)或更高
- 拥有 GitHub 个人资料链接者优先
福利待遇
- 兼职远程自由职业合作
- 项目活跃阶段每周约 10–20 小时
- 参与技术和人工智能开发项目
