資深軟體工程師，SWE-Bench 評估
為 Anyone AI 審查來自 GitHub issues 和 pull requests 的開源軟體任務。評估任務的清晰度、測試品質、可重現性、複雜度，以及作為基準測試的適用性。
說明
- 審查並評估以真實 GitHub issues 和 pull requests 為基礎的軟體工程任務。
- 確認任務描述和成功標準是否清楚且完整。
- 評估單元測試的準確性、涵蓋率和穩健性。
- 找出不穩定的測試、缺少的相依套件、版本不符和環境問題。
- 確認任務能否在不同環境中穩定重現。
- 判斷每項任務的實際難度和技術複雜度。
- 建議接受、修訂或移除任務。
- 審查錯誤修正和功能開發，包括儲存庫設定、相依套件管理、跨檔案與模組的變更，以及整體技術品質。
職位要求
- 至少三年專業軟體工程經驗。
- 具備在涵蓋多個檔案的大型程式碼庫中工作的豐富經驗。
- 有審查 pull requests、除錯和維護正式環境軟體的經驗。
- 扎實了解單元測試和測試涵蓋率。
- 能判斷測試是否正確驗證解決方案，同時避免不必要地限制實作方式。
- 具備管理相依套件、設定環境並確保可重現性的經驗。
- 熟悉 Git 和以 GitHub 為基礎的開發工作流程。
- 能分析複雜的技術問題並提供清楚的書面回饋。
- 曾參與或維護開源專案者佳。
- 有 SWE-Bench、SWE-Bench Verified 或同類程式碼基準測試經驗者佳。
- 有 Django、Flask、scikit-learn、SymPy、matplotlib、requests 或 pytest 等主要 Python 開源專案經驗者佳。
- 有 Docker、CI/CD、pip、conda 或固定相依套件版本的經驗者佳。
- 了解測試 fixtures、測試隔離或基於屬性的測試者佳。
- 有設計技術評量或審查程式設計挑戰題的經驗者佳。
- 有 AI/ML 評估、資料整理、RLHF 或基準測試開發經驗者佳。
福利待遇
- 可遠端工作。
- 兼職、以專案為基礎的顧問合作。
