SWE-rebench

何を測るか

固定タスク窓と ReAct 環境、text/tools 条件の平均解決率と標準誤差を比較します。

ランキングでの扱い

出典を調査中です。自動収集・ランキングへの加点はまだ行いません。

比較の限界

ページの更新日はモデルの再評価日とは限りません。最終結果の安定した出力と再表示条件の確認待ちです。

出典・利用条件

評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。

Nebius による成績です。元の点数は尺度が異なるため単純加算せず、固定の基準尺度で比較します。