本文へ移動
GitHub Blog · AI & ML· Michelle Zhou·おすすめAIスコア74

GitHub、AIコードレビュー向けオープンベンチマーク「ReviewBench」を公開

ReviewBench: An open benchmark for AI code review

AIによる概要

GitHubは、AIコードレビューエージェントを評価するオフラインベンチマーク「ReviewBench」を公開しました。103.9 million件のプルリクエストに基づき、19言語にまたがる219件を収録し、シニアエンジニアによる監査では判定が96.6%一致しました。データセットや評価方法を公開し、独自のエージェント評価と比較に利用できます。

推荐理由

実運用の分布に沿った219件のプルリクエストと独立監査を組み合わせ、AIコードレビューの比較評価を再現可能にする設計を確認できます。

出典:GitHub Blog · AI & ML · github.blog