GitHub、AIコードレビュー向けオープンベンチマーク「ReviewBench」を公開
GitHubは、AIコードレビューエージェントを評価するオフラインベンチマーク「ReviewBench」を公開しました。103.9 million件のプルリクエストに基づき、19言語にまたがる219件を収録し、シニアエンジニアによる監査では判定が96.6%一致しました。データセットや評価方法を公開し、独自のエージェント評価と比較に利用できます。
推荐理由：実運用の分布に沿った219件のプルリクエストと独立監査を組み合わせ、AIコードレビューの比較評価を再現可能にする設計を確認できます。