高级 Python 网页抓取工程师——塞尔维亚，远程，兼职
负责为 Mindrift 的 Tendem AI 项目构建可靠的网页抓取和数据处理流程的高级 Python 工程师。该职位专注于从复杂、动态的网站中提取、验证并扩展结构化数据集。
描述
- 负责复杂网站的端到端数据提取流程，交付完整、准确且可靠的结构化数据集。
- 使用可用工具和定制化流程，根据既定要求加快数据收集、验证和任务完成。
- 从动态和交互式数据源中可靠地提取数据，并适应 JavaScript 渲染内容及不断变化的网站行为。
- 通过验证检查、跨来源比对、格式控制以及交付前系统化核验来维护数据质量。
- 通过高效的批处理或并行处理扩展大规模抓取，监控失败情况，并在网站发生小幅变化时保持稳定性。
- 将网页抓取、数据提取和数据处理方面的专业知识应用于 Tendem 项目。
- 使用 Apify、OpenRouter 及其他相关技术。
任职要求
- 具有五年或以上数据工程、网页抓取、自动化或软件开发相关经验。
- 拥有工程、应用数学、计算机科学或相关技术专业的学士或硕士学位者优先。
- 具备扎实的 Python 网页抓取经验，熟悉 BeautifulSoup、Selenium 或类似工具，包括 JavaScript、AJAX、无限滚动和基于代理的 API 访问。
- 能够从层级结构、存档页面和不一致的 HTML 等复杂结构中提取信息。
- 具有清洗、规范化和验证数据的丰富经验，能够以 CSV、JSON 和 Google Sheets 等结构化格式交付。
- 具有大规模管理反机器人保护机制和应对网站结构变化的实践经验。
- 具有在生产环境或项目流程中使用 AWS 或同等云基础设施以及 Docker 的经验。
- 具有将 LangChain、OpenRouter 或类似 LLM 框架应用于自动化任务的实践经验。
- 注重细节，并高度重视数据准确性。
- 能够自主工作并独立排查问题。
- 要求具备 B2 或以上水平的中高级英语能力。
- 拥有 GitHub 个人资料者优先。
福利待遇
- 自由职业合作。
- 兼职远程工作。
- 项目活跃阶段预计每周工作 10–20 小时。
相关职位
高级 Java 开发工程师（弗吉尼亚州现场办公）
Creative information Technology
AWSAzureDockerGoogle Cloud PlatformGradleGrafanaHibernateJavaJavaScriptJenkinsKafkaKubernetesMavenMongoDBMySQLNoSQLPostgresPrometheusRabbitMQSplunkSpringSpring BootSQL云微服务
为 CITI（一家服务政府及商业客户的 IT 服务提供商）构建可扩展的 Java 微服务。 开发用于身份、凭证和访问管理的安全应用程序。
打开
