高级软件工程师，SWE-Bench 评估
审查来自 GitHub issue 和 pull request 的开源软件任务，服务于 Anyone AI。评估任务的清晰度、测试质量、可复现性、复杂度及其作为基准测试的适用性。
描述
- 审查并评估基于真实 GitHub issue 和 pull request 的软件工程任务。
- 检查任务描述和成功标准是否清晰、完整。
- 评估单元测试的准确性、覆盖率和健壮性。
- 查找不稳定测试、缺失依赖、版本不匹配及环境问题。
- 检查任务能否在不同环境中稳定复现。
- 判断每项任务的实际难度和技术复杂度。
- 建议接受、修订或移除任务。
- 审查错误修复和功能开发，包括仓库配置、依赖处理、跨文件和模块的更改，以及整体技术质量。
任职要求
- 至少三年专业软件工程经验。
- 具备在跨多个文件的大型代码库中工作的丰富经验。
- 有审查 pull request、调试问题和维护生产软件的经验。
- 扎实掌握单元测试和测试覆盖率。
- 能够判断测试是否正确验证解决方案，同时避免不必要地限制实现方式。
- 具备管理依赖、配置环境并确保可复现性的经验。
- 熟练掌握 Git 和基于 GitHub 的开发工作流。
- 能够分析复杂技术问题并提供清晰的书面反馈。
- 参与或维护开源项目者优先。
- 有 SWE-Bench、SWE-Bench Verified 或类似代码基准测试经验者优先。
- 有 Django、Flask、scikit-learn、SymPy、matplotlib、requests 或 pytest 等主要 Python 开源项目经验者优先。
- 有 Docker、CI/CD、pip、conda 或依赖版本固定经验者优先。
- 了解测试 fixture、测试隔离或基于属性的测试者优先。
- 有设计技术评估或审查编程挑战题经验者优先。
- 有 AI/ML 评估、数据整理、RLHF 或基准测试开发经验者优先。
福利待遇
- 远程工作。
- 兼职、按项目合作的顾问职位。