
シニアソフトウェアエンジニア、SWE-Bench評価
Anyone AI向けに、GitHubのissueやpull requestに基づくオープンソースソフトウェアのタスクをレビューします。明確さ、テスト品質、再現性、複雑さ、ベンチマークへの適性を評価します。
仕事内容
- 実際のGitHub issueやpull requestに基づくソフトウェアエンジニアリングのタスクをレビューし、評価します。
- タスクの説明と成功基準が明確で、十分に記述されているか確認します。
- 単体テストの正確性、網羅性、堅牢性を評価します。
- 不安定なテスト、不足している依存関係、バージョンの不一致、環境の問題を特定します。
- タスクを異なる環境で一貫して再現できるか確認します。
- 各タスクの実務上の難易度と技術的な複雑さを判断します。
- タスクを採用、修正、削除すべきか提案します。
- リポジトリのセットアップ、依存関係の管理、複数ファイルやモジュールにまたがる変更、全体的な技術品質を含め、バグ修正と機能開発をレビューします。
応募要件
- ソフトウェアエンジニアとしての実務経験が3年以上あること。
- 複数のファイルにまたがる大規模なコードベースでの豊富な実務経験。
- プルリクエストのレビュー、問題のデバッグ、本番ソフトウェアの保守経験。
- 単体テストとテストカバレッジに関する確かな理解。
- 実装方法を不必要に制限せず、テストが解決策を正しく検証しているか判断できること。
- 依存関係の管理、環境設定、再現性の確保に関する経験。
- GitおよびGitHubを利用した開発ワークフローに精通していること。
- 複雑な技術課題を分析し、明確な文章でフィードバックできること。
- オープンソースプロジェクトへの貢献または保守経験があれば尚可。
- SWE-Bench、SWE-Bench Verified、または同等のコーディングベンチマークの経験があれば尚可。
- Django、Flask、scikit-learn、SymPy、matplotlib、requests、pytestなど、主要なPythonオープンソースプロジェクトの経験があれば尚可。
- Docker、CI/CD、pip、conda、または依存関係のバージョン固定の経験があれば尚可。
- テストフィクスチャ、テストの分離、またはプロパティベーステストの知識があれば尚可。
- 技術評価の設計またはコーディング課題のレビュー経験があれば尚可。
- AI/ML評価、データキュレーション、RLHF、またはベンチマーク開発の経験があれば尚可。
福利厚生
- リモート勤務。
- パートタイムのプロジェクトベースのコンサルティング契約。







