GitHub Blog · AI & ML· Michelle Zhou·おすすめAIスコア74
GitHub、AIコードレビュー向けオープンベンチマーク「ReviewBench」を公開
ReviewBench: An open benchmark for AI code review
AIによる概要
GitHubは、AIコードレビューエージェントを評価するオフラインベンチマーク「ReviewBench」を公開しました。103.9 million件のプルリクエストに基づき、19言語にまたがる219件を収録し、シニアエンジニアによる監査では判定が96.6%一致しました。データセットや評価方法を公開し、独自のエージェント評価と比較に利用できます。
推荐理由
実運用の分布に沿った219件のプルリクエストと独立監査を組み合わせ、AIコードレビューの比較評価を再現可能にする設計を確認できます。
出典:GitHub Blog · AI & ML · github.blog