APEX-Agents 1.1

何を測るか

1.1 データと公式 Loop、pass@1 および対応する誤差を使います。

ランキングでの扱い

単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。

比較の限界

Mean Score は作業完了率と区別します。モデル別実行日の欠落があり、あらゆる業務の信頼性を示しません。

出典・利用条件

評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。

Mercor による成績です。元の点数は尺度が異なるため単純加算せず、固定の基準尺度で比較します。