評価方法と読み方

何を比較するか

公開された固定版の基礎モデルを対象とします。同一の評価条件が確認できる直接回答や共通ツールの実行結果を使い、匿名テスト、公開前の版、異なるモデルへのフォールバック、条件未確認の専用システムは除外します。構成を選ぶ優先順位は事前に固定し、最も高い点数を都合よく選びません。

8 分野を同じ重みで扱う

各分野に 12.5% を割り当て、分野内で独立したタスク群、さらに測定へ分配します。関連評価を追加しても、そのタスク群の総重量は増えません。データがない分野の重みを他へ移しません。

順位とスコアの求め方

1. 同じ測定を受けたモデルの組だけを比較します。原点数をそのまま足したり、未測定を 0 点にしたりしません。
2. 固定の参照モデルで作った尺度を、評価手順の版ごとに保存します。新モデルの追加で既存の比較尺度を動かしません。
3. 連続的な点差と固定重みから、観測された支持に最も矛盾しない順位を整数計画法（Kemeny / HiGHS）で求めます。
4. その順位と矛盾しないように、参照モデルを基準とした 0–100 の相対スコアを当てはめます。誤差が未公表なら不明のまま保持します。

証拠が不足したとき

総合順位の候補は、3 出典・3 タスク群・3 機関・3 分野以上と、2 つ以上の参照モデルとの直接比較が必要です。集計全体にも、総合では少なくとも 10 モデルと 8 参照モデル、分類では 5 モデルと 4 参照モデルが必要です。比較ネットワークが分断された場合や最適解を確認できない場合は公開せず、直前の有効な集計を維持します。

原則として公開から 18 か月以内のモデルを対象にし、出典に実際の公開日がない場合は不明と表示します。最新データの省略は同一評価版の最近の実測で補える場合がありますが、後から明示された除外を覆したり、異なる評価版を混ぜたりしません。

時刻と表示

保存・API の日時は UTC、画面は日本時間 JST です。評価実施日、出典公開日、取得確認日、集計日時は別の情報として表示します。価格とコンテキスト長は補足で、能力の順位には加点しません。

過去に公開したモデルは、上位 30 位から外れても詳細を維持します。現在の条件から外れたモデルは、そのモデルの最後の公開結果と日時を示します。

現在の方法と参照モデル

2026.10-observed-evidence-v17

現在の集計: 2026/10/04 22:03 JST