FinanceBenchmark

何を測るか

v2・v3 と実行環境を分離。3 回の試行条件を保持します。

ランキングでの扱い

出典を調査中です。自動収集・ランキングへの加点はまだ行いません。

比較の限界

3 回中 1 回以上の成功は pass@1 と異なります。指標、別名、安定した元データを確認中です。

出典・利用条件

評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。

FinanceBenchmark による成績です。元の点数は尺度が異なるため単純加算せず、固定の基準尺度で比較します。