高级 Python 数据抓取工程师(自由职业,沙特阿拉伯远程)
高级 Python 工程师,为 Mindrift 的 Tendem AI 项目开发可扩展的数据抓取工作流。 该职位专注于使用 Python 和自动化工具提取、验证并构建复杂的网页数据。
描述
- 负责 Mindrift Tendem 项目及其实际应用中的专业数据抓取工作流
- 管理复杂网站上的端到端数据提取管道
- 生成完整、准确、可靠且结构清晰的数据集
- 应用 Apify、OpenRouter 和自定义工作流,优化数据采集、验证与任务执行
- 从动态交互式来源中采集数据,并适应 JavaScript 渲染内容及不断变化的网站行为
- 通过验证检查、跨来源比对、格式控制和系统化核验保障数据质量
- 通过高效批处理和并行处理扩展大规模数据抓取
- 调查故障,并在网站结构发生轻微变化时保持管道稳定
- 独立解决复杂的脚本编写、自动化、数据提取、数据结构化和验证问题
任职要求
- 拥有 5 年以上数据工程、网页抓取、自动化或软件开发相关经验
- 英语达到中高级水平(B2)或更高
- 具备高级 Python 抓取经验,熟悉 BeautifulSoup、Selenium 或同类工具、动态 JavaScript/AJAX 内容、无限滚动和基于代理的 API
- 能够从复杂层级结构、存档页面和不一致的 HTML 中提取信息
- 深入了解数据清洗、规范化和验证
- 具备大规模管理反机器人保护机制及不断变化的网站结构的实际经验
- 具备 AWS 或同类云基础设施经验
- 具备使用 Docker 打包应用程序的经验
- 实际使用过 LangChain、OpenRouter 或类似的 LLM 自动化框架
- 注重细节,高度重视数据准确性
- 具备自我驱动能力,并有信心独立排查问题
- 工程、应用数学、计算机科学或相关技术学科的学士或硕士学位优先
- 拥有 GitHub 个人资料链接优先
福利待遇
- 灵活的兼职自由职业合作
- 项目活跃期间预计每周工作 10–20 小时
- 薪酬最高相当于每小时 37 美元,具体取决于经验水平和贡献进度
- 有机会参与创新型人工智能和技术开发项目
- 完全远程工作
