{"run":{"id":"vl03ikqhrcbxbu23mwifkees9","methodologyVersion":"2026.10-observed-evidence-v17","generatedAt":"2026-10-04T13:03:29.357Z","fx":null},"groups":[{"key":"general","name":"総合評価と利用体験","blurb":"複数の能力を測る評価と、人によるブラインド比較。","sources":[{"key":"artificial-analysis","name":"AA Index","operator":"Artificial Analysis","description":"共通環境で複数の評価を実施する総合能力指数。","status":"cross_reference","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/artificial-analysis-purple-2026.svg","monogram":"A","raster":false},"budget":0,"fullName":"Artificial Analysis Intelligence Index","area":null,"officialUrl":"https://artificialanalysis.ai/data-api/docs","what":"公式 Intelligence Index のみを参照。速度と価格は能力に加点しません。","usage":"総合結果の照合用です。構成する個別評価と重複して加点しません。","limits":"構成評価と重複計上せず、指数の版・設定・帰属表示を保持。認可された API のみ利用します。","license":"API の表示には明確な帰属表示が必要です。再配布および個別条件は Terms of Use と許諾に従います。","attribution":"Artificial Analysis の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"livebench-general","name":"LiveBench","operator":"LiveBench","description":"更新される問題を用いた、客観採点の総合評価。","status":"cross_reference","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/livebench.png","monogram":"L","raster":true},"budget":null,"fullName":"LiveBench Global Average","area":null,"officialUrl":"https://livebench.ai/","what":"公式 Global Average を照合用に表示。集計には重複しない個別タスクを使います。","usage":"総合結果の照合用です。構成する個別評価と重複して加点しません。","limits":"総合平均は個別能力を薄めます。参加組織 Abacus.AI は Smaug も開発しており、独立した出典で補います。","license":"Apache 2.0","attribution":"LiveBench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"arena-text","name":"Arena Text","operator":"LMArena","description":"回答を匿名で比較する、人による好みの評価。","status":"cross_reference","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/arena.svg","monogram":"L","raster":false},"budget":0,"fullName":"Arena Text Style-Controlled","area":null,"officialUrl":"https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset","what":"公式 Text Overall style-controlled スナップショットのみ。リアルタイム画面は取得しません。","usage":"総合結果の照合用です。構成する個別評価と重複して加点しません。","limits":"好みは文体、利用者、質問分布に左右されます。創作分野と重複して加点しません。","license":"CC BY 4.0","attribution":"LMArena の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"arena-webdev","name":"Arena WebDev","operator":"LMArena","description":"ウェブサイトの使いやすさと完成度を人が比較。","status":"reference_only","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/arena.svg","monogram":"L","raster":false},"budget":0,"fullName":"Arena WebDev","area":null,"officialUrl":"https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset","what":"公式 WebDev / Code Arena のモデル名と設定を保持します。","usage":"元の結果を確認する参考資料です。総合・分類の順位には加点しません。","limits":"異なる Agent や実行手順の結果を、共通条件での基礎モデル順位には使いません。","license":"CC BY 4.0","attribution":"LMArena の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"livebench-writing","name":"LiveBench · 言語と指示","operator":"LiveBench","description":"Language と IF を各 50% で平均。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/livebench.png","monogram":"L","raster":true},"budget":0.125,"fullName":"LiveBench · 言語と指示","area":null,"officialUrl":"https://livebench.ai/#/?cats=Language%2CIF&ft=1","what":"丸め前の言語理解・指示追従スコアを等分して平均します。小説の文体評価ではありません。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"単独カテゴリの点数と異なります。分類・微調整モデルの表示設定で公式順位も変わります。","license":"Apache 2.0","attribution":"LiveBench が公表した点数を当サイトで所定の方法により集約しています。異なる尺度の点数を単純加算しません。"},{"key":"arena-creative-writing","name":"Arena · 創作","operator":"LMArena","description":"物語、詩、創造的な文章を人が比較。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/arena.svg","monogram":"L","raster":false},"budget":0.0625,"fullName":"Arena Creative Writing","area":null,"officialUrl":"https://arena.ai/leaderboard/text/creative-writing","what":"公式 text_style_control の creative_writing にある Bradley–Terry スコアと信頼区間を使います。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"質問は自動分類され、長編小説や特定言語だけの評価ではありません。Arena 全体とは独立機関として数えません。","license":"CC BY 4.0 · LMArena の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"LMArena の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"design-arena-design","name":"Design Arena · 視覚デザイン","operator":"Design Arena / Intelligence","description":"ウェブ、UI、グラフ、スライドのデザイン比較。","status":"observing","brand":{"src":null,"monogram":"D","raster":false},"budget":null,"fullName":"Design Arena · 視覚デザイン","area":null,"officialUrl":"https://www.designarena.ai/leaderboard/website","what":"Models Arena の基礎モデルを対象に、関連タスクの重みを共有します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"API の承認取得と元の成績確認待ち。モデル、Agent、Builder を混ぜません。","license":"正式 API は承認制。個人・商用表示には帰属と可視の公式リンクが必要です。","attribution":"Design Arena / Intelligence の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"eq-emotional-v4","name":"EQ-Bench 4 · 感情理解","operator":"EQ-Bench","description":"対話における感情や意図の理解。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/eqbench.svg","monogram":"E","raster":true},"budget":null,"fullName":"EQ-Bench 4 · 感情理解","area":null,"officialUrl":"https://eqbench.com/","what":"120 人の模擬人物と 16 往復の対話を、3 系列の裁判モデルで評価。Elo のみを候補にします。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"英語の模擬対話で、人間の専門家による妥当性確認は未了。既存結果は 45 日の窓を超え、新結果待ちです。","license":"MIT · EQ-Bench の公式リポジトリに基づく記録。出典の帰属を保持します。","attribution":"EQ-Bench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"lechmazur-short-story","name":"Short-Story · 短編小説","operator":"Lech Mazur","description":"人物、筋、文体の条件を満たす短編小説。","status":"observing","brand":{"src":null,"monogram":"L","raster":false},"budget":null,"fullName":"Short-Story · 短編小説","area":null,"officialUrl":"https://github.com/lechmazur/writing","what":"600–800 語、10 条件、3 裁判モデルの双方向比較。Thurstone を使い BT は診断用です。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"文芸上の裁判者の好みと未完了の実行があります。README と機械データの同期、再利用条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Lech Mazur の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"tonebench-scripts","name":"ToneBench · 文体と台本","operator":"Towards AI","description":"指定された文体の動画台本。","status":"observing","brand":{"src":null,"monogram":"T","raster":false},"budget":null,"fullName":"ToneBench · 文体と台本","area":null,"officialUrl":"https://benchmark.towardsai.com/","what":"10 タスクの複数生成を 3 裁判者で評価。同じ rubric と実行設定だけを比較します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"単一チャンネルの文体が中心。Fable 5 と Opus 4.8 の混合フォールバック行は単一モデルとして扱いません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Towards AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"tubelab-scriptwriting","name":"TubeLab · 動画台本","operator":"TubeLab","description":"動画台本の物語、文体、テンポ、明瞭さ。","status":"observing","brand":{"src":null,"monogram":"T","raster":false},"budget":null,"fullName":"TubeLab · 動画台本","area":null,"officialUrl":"https://tubelab.net/benchmark/scriptwriting","what":"共通 Scriptwriter、12 タスク、6 項目。失敗の罰則を保持し、価格や速度は加点しません。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"ツール手順や推論設定の影響があります。固定データ、実行日、再表示条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"TubeLab の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"ncbench-author-workflow","name":"NC Bench · 作家の作業","operator":"Novelcrafter","description":"作家の改稿、続きの執筆、要約、翻訳。","status":"observing","brand":{"src":null,"monogram":"N","raster":false},"budget":null,"fullName":"NC Bench · 作家の作業","area":null,"officialUrl":"https://www.nc-bench.com/","what":"独立した文章作業の品質のみを候補とし、価格・速度・安定性を含む Rank Score は使いません。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"タスクの範囲と評価日、元の品質スコアが揃うまでホーム画面の集計順位を採用しません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Novelcrafter の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"openvibeeval-design","name":"OpenVibeEval · ウェブ作品","operator":"OpenVibeEval","description":"ウェブ作品、アクセシビリティ、好みの比較。","status":"observing","brand":{"src":null,"monogram":"O","raster":false},"budget":null,"fullName":"OpenVibeEval · ウェブ作品","area":null,"officialUrl":"https://openvibeeval.com/","what":"モデルと harness を分離。共通条件の独立したブラインド投票を確認します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"アクセシビリティは美しさの点数ではありません。異なる実行ツールを混ぜません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"OpenVibeEval の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"svgbench-arena","name":"SVGBench · SVG 比較","operator":"SVGBench","description":"同一プロンプトで生成した SVG の比較。","status":"observing","brand":{"src":null,"monogram":"S","raster":false},"budget":null,"fullName":"SVGBench · SVG 比較","area":null,"officialUrl":"https://svgbench.ai/leaderboard","what":"十分な質問範囲を満たしたブラインド評価だけを対象にします。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"登録モデル数は評価済みモデル数とは異なります。固定結果、更新日、利用条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"SVGBench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"rapidata-svg","name":"Rapidata SVG","operator":"Rapidata","description":"人によるベクター画像の好み。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/rapidata.svg","monogram":"R","raster":false},"budget":null,"fullName":"Rapidata SVG · Human Preference","area":null,"officialUrl":"https://www.benchmark.ai/","what":"同一 SVG タスクの Preference Elo のみ。固定された公式データ版と対戦記録を参照します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"3 つの DeepSeek ローリング別名に固定版の証拠がなく採用待ち。更新日からモデル版を推測しません。","license":"CC BY 4.0 · Rapidata の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Rapidata の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"eq-creative","name":"Creative Writing v3","operator":"EQ-Bench","description":"短編創作と文章表現。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/eqbench.svg","monogram":"E","raster":true},"budget":0.03125,"fullName":"Creative Writing v3","area":null,"officialUrl":"https://eqbench.com/creative_writing.html","what":"公式スクリプト内の CSV の Elo。Sonnet 4.6 の判定以外の文体指標を重複計上しません。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"主に英語で、モデル裁判に依存します。同一裁判者と関連タスクは重みを共有します。","license":"MIT · EQ-Bench の公式リポジトリに基づく記録。出典の帰属を保持します。","attribution":"EQ-Bench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"eq-longform","name":"Longform Writing","operator":"EQ-Bench","description":"長編物語の一貫性と完成度。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/eqbench.svg","monogram":"E","raster":true},"budget":0.03125,"fullName":"Longform Writing","area":null,"officialUrl":"https://eqbench.com/creative_writing_longform.html","what":"8 章の物語の overall_score_100 を参照します。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"主に英語で、モデル裁判に依存します。短編評価と関連する重みを共有します。","license":"MIT · EQ-Bench の公式リポジトリに基づく記録。出典の帰属を保持します。","attribution":"EQ-Bench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"}]},{"key":"coding","name":"コーディング","blurb":"コード生成、リポジトリ修正、ソフトウェア実装。","sources":[{"key":"deepswe-v1-1","name":"DeepSWE v1.1","operator":"DataCurve","description":"共通のコーディング環境で修正・実装。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/deepswe.svg","monogram":"D","raster":false},"budget":0.041666666666666664,"fullName":"DeepSWE v1.1","area":"コーディング","officialUrl":"https://deepswe.datacurve.ai/","what":"v1.1 の pass@1 のみ。共通 mini-swe-agent 内で固定した推論設定の優先順位を使います。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"基礎モデルと mini-swe-agent の組合せの結果です。大きなプロトコル変更は分離します。公開前に再表示許諾を確認します。","license":"公式公開データ。従来記録は管理者の私的観察用で、公開前に許諾を再確認します。","attribution":"DataCurve の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"taptap-maker","name":"TapTap Maker","operator":"TapTap Maker","description":"Lua で実際に動くゲーム機能を実装。","status":"reference_only","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/taptap-maker.svg","monogram":"T","raster":false},"budget":0,"fullName":"TapTap Maker Benchmark","area":"コーディング","officialUrl":"https://maker.taptap.cn/leaderboard/","what":"公式 main_board の L2 通過率。価格・速度・Held-out を重複計上せず、設定選択には点数を使いません。","usage":"元の結果を確認する参考資料です。総合・分類の順位には加点しません。","limits":"単一エンジン・単一言語で、モデルごとに Agent driver が異なります。参考のみです。","license":"公式公開結果。帰属を保持し、再配布の許諾は提供者の利用条件に従います。","attribution":"TapTap Maker の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"livebench-coding","name":"LiveBench · コーディング","operator":"LiveBench","description":"Coding と Agentic Coding を各 50% で平均。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/livebench.png","monogram":"L","raster":true},"budget":0.08333333333333333,"fullName":"LiveBench · コーディング","area":"コーディング","officialUrl":"https://livebench.ai/#/?cats=Coding%2CAgentic+Coding&ft=1","what":"丸め前の直接コーディングと共通ツールによるコーディングを別の測定として集計します。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"表示の平均をさらに投票に加えません。公式ページの分類・微調整モデル設定によって点数も変わります。","license":"Apache 2.0","attribution":"LiveBench が公表した点数を当サイトで所定の方法により集約しています。異なる尺度の点数を単純加算しません。"},{"key":"hyper-tau","name":"Hyper-τ-bench","operator":"Sierra","description":"業務資料から顧客対応 Agent を作成・検証。","status":"observing","brand":{"src":null,"monogram":"S","raster":false},"budget":null,"fullName":"Hyper-τ-bench","area":"コーディング","officialUrl":"https://sierra.ai/blog/hyper-t-bench-evaluating-agents-that-build-agents","what":"開発ツール、実行時間、検証環境を揃え、銀行業務の直接実行とは分離します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"元の成績、利用許諾、固定された実行条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Sierra の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"swe-rebench","name":"SWE-rebench","operator":"Nebius","description":"実際のリポジトリで継続的に修正能力を評価。","status":"observing","brand":{"src":null,"monogram":"N","raster":false},"budget":null,"fullName":"SWE-rebench","area":"コーディング","officialUrl":"https://swe-rebench.com/","what":"固定タスク窓と ReAct 環境、text/tools 条件の平均解決率と標準誤差を比較します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"ページの更新日はモデルの再評価日とは限りません。最終結果の安定した出力と再表示条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Nebius の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"lhtb","name":"LHTB","operator":"Tencent HY / Lehigh ほか","description":"長時間の端末操作による複雑な開発。","status":"observing","brand":{"src":null,"monogram":"T","raster":false},"budget":null,"fullName":"Long-Horizon Terminal-Bench","area":"コーディング","officialUrl":"https://zli12321.github.io/LHTB/leaderboard.html","what":"90 分、2 時間、3 時間を分離。判定方式の修正前後や異なる Agent の最良値を混ぜません。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"公式に判定情報の漏えいが開示されています。修正後の同一手順である証拠が揃うまで旧結果を採用しません。","license":"Apache 2.0 · Tencent HY / Lehigh 等 の公式データ。帰属と変更説明を保持します。","attribution":"Tencent HY / Lehigh ほか の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"terminal-bench-4","name":"Terminal-Bench 4","operator":"Harbor / Terminal-Bench","description":"モデルと Agent の組合せによる端末タスク。","status":"reference_only","brand":{"src":null,"monogram":"H","raster":false},"budget":null,"fullName":"Terminal-Bench 4 · システム参考","area":"コーディング","officialUrl":"https://www.tbench.ai/","what":"公式 4.0 のモデル、Agent 版、推論設定、実行回数を各行のまま保持します。","usage":"元の結果を確認する参考資料です。総合・分類の順位には加点しません。","limits":"Claude Code、Codex、GrokBuild、mini-SWE 等は異なるシステム。AA 指数との重複も避け、参考のみです。","license":"Apache 2.0 · Harbor / Terminal-Bench の公式データ。帰属と変更説明を保持します。","attribution":"Harbor / Terminal-Bench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-mirrorcode","name":"MirrorCode","operator":"Epoch AI","description":"長時間のソフトウェア再現。","status":"reference_only","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":null,"fullName":"MirrorCode","area":"コーディング","officialUrl":"https://epoch.ai/benchmarks/mirrorcode","what":"公表されている個別モデルの結果を参照します。","usage":"元の結果を確認する参考資料です。総合・分類の順位には加点しません。","limits":"モデル数と比較条件が不足し、総合・分類の集計には使いません。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-migration","name":"Code Migration","operator":"Vals AI","description":"コード移行と API の変更。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":null,"fullName":"Code Migration","area":"コーディング","officialUrl":"https://www.vals.ai/benchmarks/code-migration","what":"専用ページの Overall を総合 Vals Index と分離し、複数モデルのフォールバックを除外します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"個別データの再表示条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-program","name":"ProgramBench","operator":"Vals AI","description":"完全なプログラムの実装と納品。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":null,"fullName":"ProgramBench","area":"コーディング","officialUrl":"https://www.vals.ai/benchmarks/programbench","what":"専用ページの Overall を総合 Vals Index と分離します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"単一モデル条件と個別データの利用条件を確認するまで採用しません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"frontiercode","name":"FrontierCode","operator":"Cognition","description":"実際のリポジトリの品質、テスト、変更範囲。","status":"observing","brand":{"src":null,"monogram":"C","raster":false},"budget":null,"fullName":"FrontierCode","area":"コーディング","officialUrl":"https://cognition.com/frontiercode","what":"v1.1 と公式条件を固定し、品質とテスト成功を同一タスクの証拠として扱います。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"安定した結果のエクスポートと再表示条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Cognition の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"frontierswe-v2","name":"FrontierSWE v2","operator":"Proximal Labs","description":"長時間のエンジニアリングと研究。","status":"observing","brand":{"src":null,"monogram":"P","raster":false},"budget":null,"fullName":"FrontierSWE v2","area":"コーディング","officialUrl":"https://www.frontierswe.com/","what":"v2 の共通 Proximus harness だけを比較します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"旧版、best-of、別条件を混ぜません。当期モデルの網羅性と実行設定の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Proximal Labs の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"weirdml","name":"WeirdML","operator":"WeirdML","description":"未知のデータへの機械学習実装。","status":"observing","brand":{"src":null,"monogram":"W","raster":false},"budget":null,"fullName":"WeirdML","area":"コーディング","officialUrl":"https://htihle.github.io/weirdml.html","what":"同じタスク、固定 GPU 時間、5 回の反復条件を使います。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"公開 CSV はありますが、結果の利用条件とモデル別実行日時が未確認です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"WeirdML の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"}]},{"key":"reasoning","name":"推論","blurb":"数学、論理、未知の規則への対応。","sources":[{"key":"livebench-reasoning","name":"LiveBench · 推論と数学","operator":"LiveBench","description":"Reasoning と Mathematics を各 50% で平均。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/livebench.png","monogram":"L","raster":true},"budget":0.03125,"fullName":"LiveBench · 推論と数学","area":"推論","officialUrl":"https://livebench.ai/#/?cats=Reasoning%2CMathematics&ft=1","what":"丸め前の推論と数学の点数を等分して平均します。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"単独カテゴリの点数とは異なり、表示条件により公式の順位も変わります。","license":"Apache 2.0","attribution":"LiveBench が公表した点数を当サイトで所定の方法により集約しています。異なる尺度の点数を単純加算しません。"},{"key":"simplebench","name":"SimpleBench","operator":"SimpleBench","description":"日常の常識と論理的な制約の理解。","status":"observing","brand":{"src":null,"monogram":"S","raster":false},"budget":null,"fullName":"SimpleBench","area":"推論","officialUrl":"https://simple-bench.com/","what":"選択式と自由回答を分離し、AVG@5、温度、プロンプトを固定します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"掲載日を評価日と見なしません。公式結果の再利用条件と固定版を確認中です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"SimpleBench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-frontiermath","name":"FrontierMath v2 · Tiers 1–3","operator":"Epoch AI","description":"研究水準の数学推論。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":0.015625,"fullName":"FrontierMath v2 · Tiers 1–3","area":"推論","officialUrl":"https://epoch.ai/benchmarks/frontiermath-tiers-1-3-v2","what":"v2 の Tiers 1–3 のみ。旧問題群や Tier 4 と同一指標に混ぜません。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"関連する数学タスクは固定された重みを共有します。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-frontiermath-tier4","name":"FrontierMath v2 · Tier 4","operator":"Epoch AI","description":"さらに難しい研究水準の数学。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":0.015625,"fullName":"FrontierMath v2 · Tier 4","area":"推論","officialUrl":"https://epoch.ai/benchmarks/frontiermath-tier-4-v2","what":"v2 Tier 4 を独立保存し、標本誤差を保持します。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"Tiers 1–3 と同じ数学タスク群の重みを共有します。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-chess","name":"Chess Puzzles","operator":"Epoch AI","description":"文字による盤面から正しい指し手を選択。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":0.03125,"fullName":"Chess Puzzles","area":"推論","officialUrl":"https://epoch.ai/benchmarks/chess-puzzles","what":"Stockfish の正解で採点します。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"入力は盤面のテキストで、画像理解には分類しません。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-mystery","name":"Mystery Game Puzzles","operator":"Epoch AI","description":"未知の規則から行動を推論。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":0.03125,"fullName":"Mystery Game Puzzles","area":"推論","officialUrl":"https://epoch.ai/benchmarks/mystery-game-puzzles","what":"Epoch 標準手順の mean_score を使います。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"汚染防止のため問題と対話記録が非公開で、全問の独立再現はできません。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"matharena-lean","name":"MathArena · ArXivLean","operator":"MathArena / ETH Zurich","description":"Lean で数学的証明を検証。","status":"observing","brand":{"src":null,"monogram":"M","raster":false},"budget":null,"fullName":"MathArena · ArXivLean","area":"推論","officialUrl":"https://matharena.ai/","what":"試験と版ごとに結果を保存し、Expected performance の横断推定を使いません。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"コードの MIT とデータの CC BY-NC-SA 4.0 の範囲を区別し、結果の再表示条件を確認中です。","license":"コードは MIT。データには CC BY-NC-SA 4.0 の範囲があり、問題集と評価結果を区別します。","attribution":"MathArena / ETH Zurich の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"matharena-broken","name":"MathArena · BrokenArXiv","operator":"MathArena / ETH Zurich","description":"数学的証明の誤りを発見・修正。","status":"observing","brand":{"src":null,"monogram":"M","raster":false},"budget":null,"fullName":"MathArena · BrokenArXiv","area":"推論","officialUrl":"https://matharena.ai/","what":"試験と版ごとの実測値のみを候補にします。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"異なる問題群の横断推定を集計せず、データ再利用条件を確認中です。","license":"コードは MIT。データには CC BY-NC-SA 4.0 の範囲があり、問題集と評価結果を区別します。","attribution":"MathArena / ETH Zurich の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"matharena-math","name":"MathArena · ArXivMath","operator":"MathArena / ETH Zurich","description":"最近の数学論文から作られた問題。","status":"observing","brand":{"src":null,"monogram":"M","raster":false},"budget":null,"fullName":"MathArena · ArXivMath","area":"推論","officialUrl":"https://matharena.ai/","what":"個別の問題群と版を固定します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"Expected performance を重複計上せず、データ再利用条件を確認中です。","license":"コードは MIT。データには CC BY-NC-SA 4.0 の範囲があり、問題集と評価結果を区別します。","attribution":"MathArena / ETH Zurich の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"arc-agi-2","name":"ARC-AGI-2","operator":"ARC Prize","description":"未知の規則の学習と汎化。","status":"observing","brand":{"src":null,"monogram":"A","raster":false},"budget":null,"fullName":"ARC-AGI-2","area":"推論","officialUrl":"https://arcprize.org/leaderboard","what":"標準 harness と提供者別 Adapter を分離します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"系統的な収集・集約には書面許諾が必要とされ、結果の集約範囲を確認中です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"ARC Prize の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"arc-agi-3","name":"ARC-AGI-3","operator":"ARC Prize","description":"未知の規則の学習と汎化。","status":"observing","brand":{"src":null,"monogram":"A","raster":false},"budget":null,"fullName":"ARC-AGI-3","area":"推論","officialUrl":"https://arcprize.org/leaderboard","what":"標準 harness と専用 Adapter の成績を分けます。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"公式利用条件と集約許諾の確認待ち。専用 Adapter の最高値を通常モデルの結果にしません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"ARC Prize の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"}]},{"key":"knowledge","name":"知識","blurb":"事実に関する質問と大学院水準の科学知識。","sources":[{"key":"facts-parametric","name":"FACTS Parametric","operator":"Google DeepMind / Kaggle","description":"検索を使わずに世界の事実を回答。","status":"observing","brand":{"src":null,"monogram":"G","raster":false},"budget":null,"fullName":"FACTS Parametric","area":"知識","officialUrl":"https://www.kaggle.com/benchmarks/google/facts-parametric/leaderboard","what":"固定タスク版の Score と公開・非公開集合、信頼区間を保持します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"完了問題数の表示がなく、集計方法にも未確認点があります。部分実行を完全な評価とは見なしません。","license":"Apache 2.0 · Google DeepMind / Kaggle の公式データ。帰属と変更説明を保持します。","attribution":"Google DeepMind / Kaggle の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"hle","name":"Humanity’s Last Exam","operator":"CAIS / Scale AI","description":"複数分野の難しい学術知識と推論。","status":"observing","brand":{"src":null,"monogram":"C","raster":false},"budget":null,"fullName":"Humanity’s Last Exam","area":"知識","officialUrl":"https://labs.scale.com/leaderboard/humanitys_last_exam","what":"HLE、HLE-Rolling、ツールありを分離します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"実行日と再表示条件の確認待ち。AA に含まれる証拠を総合榜に重複加点しません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"CAIS / Scale AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"bullshitbench-v2","name":"BullshitBench · 誤った前提","operator":"Peter Gostev / BullshitBench","description":"質問の誤った前提を識別する能力。","status":"observing","brand":{"src":null,"monogram":"P","raster":false},"budget":null,"fullName":"BullshitBench v2","area":"知識","officialUrl":"https://github.com/petergpt/bullshit-benchmark","what":"全試行中の明確な誤前提識別率を確認し、回答済み平均と拒答率は別に保持します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"一般知識の広さとは異なります。裁判者、拒答、匿名・ローリングモデルの固定版を確認してから参照します。","license":"MIT · Peter Gostev / BullshitBench の公式リポジトリに基づく記録。出典の帰属を保持します。","attribution":"Peter Gostev / BullshitBench の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-simpleqa","name":"SimpleQA Verified","operator":"Epoch AI","description":"短い事実質問の正確さ。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":0.0625,"fullName":"SimpleQA Verified","area":"知識","officialUrl":"https://epoch.ai/benchmarks/simple-qa-verified","what":"Epoch が再実行した mean_score と固定推論設定のみ。ECI や Best score は使いません。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"同じ問題群の証拠は固定された重みを共有します。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-gpqa","name":"GPQA Diamond","operator":"Epoch AI","description":"大学院水準の物理、化学、生物学。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":0.0625,"fullName":"GPQA Diamond","area":"知識","officialUrl":"https://epoch.ai/benchmarks/gpqa-diamond","what":"Epoch の mean_score と推論設定、標準誤差を保持します。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"198 問の科学知識は世界知識の全体を代表しません。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"}]},{"key":"professional","name":"専門業務","blurb":"金融、法律、業務ツールを使う仕事。","sources":[{"key":"mercor-apex-agents","name":"APEX-Agents 1.1","operator":"Mercor","description":"投資銀行、コンサルティング、法律の長い仕事。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/mercor.svg","monogram":"M","raster":false},"budget":0.0625,"fullName":"Mercor APEX-Agents 1.1","area":"専門業務","officialUrl":"https://www.mercor.com/apex/apex-agents-leaderboard/","what":"1.1 データと公式 Loop、pass@1 および対応する誤差を使います。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"Mean Score は作業完了率と区別します。モデル別実行日の欠落があり、あらゆる業務の信頼性を示しません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Mercor の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-finance-agent","name":"Vals Finance Agent","operator":"Vals AI","description":"金融アナリストの調査と分析。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":0.0625,"fullName":"Vals Finance Agent","area":"専門業務","officialUrl":"https://www.vals.ai/benchmarks/fabv2","what":"Finance Agent v2 公式 Overall のみを使います。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"非公開問題の全問再現はできません。別モデルへのフォールバックは除外し、同系列の専門業務は重みを共有します。","license":"公式公開結果。帰属を保持し、再配布の許諾は提供者の利用条件に従います。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"officeqa-pro","name":"OfficeQA Pro","operator":"Databricks","description":"実際の財務文書の検索、計算、回答。","status":"observing","brand":{"src":null,"monogram":"D","raster":false},"budget":null,"fullName":"OfficeQA Pro","area":"専門業務","officialUrl":"https://github.com/databricks/officeqa","what":"Pro 133 問、Full 246 問、Pro V2 90 問、検索ありと正解ページ支給を分離します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"異なる SDK・CLI は別のシステム。文書理解を文書制作能力と同一視しません。","license":"コード Apache 2.0、問題データ CC BY-SA 4.0。移転先の Hugging Face データはアクセス申請が必要です。","attribution":"Databricks の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-harvey-lab","name":"Harvey Legal Agent Benchmark","operator":"Vals AI / Harvey","description":"法律資料からレビュー可能な文書を制作。","status":"observing","brand":{"src":null,"monogram":"V","raster":false},"budget":null,"fullName":"Harvey Legal Agent Benchmark","area":"専門業務","officialUrl":"https://www.vals.ai/benchmarks/hlab","what":"共通の私有問題、6 ツール、docx・xlsx・pptx、ネット接続なしで、2 裁判者の全タスク通過率を使います。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"単項目の約 90% と仕事全体の完了は別です。Fable の別モデルへのフォールバックを除外し、許諾と固定データを確認中です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI / Harvey の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"mcp-atlas","name":"MCP Atlas","operator":"Scale AI","description":"MCP による文書、検索、データベースの作業。","status":"observing","brand":{"src":null,"monogram":"S","raster":false},"budget":null,"fullName":"MCP Atlas","area":"専門業務","officialUrl":"https://labs.scale.com/leaderboard/mcp_atlas","what":"2026 年 4 月以降の手順と 100 回のツール予算を固定。全 1,000 問と公開 500 問を分けます。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"ツール版、裁判者、再試行を固定する必要があります。同じ Scale の他榜を独立機関として増やしません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Scale AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"financebenchmark","name":"FinanceBenchmark","operator":"FinanceBenchmark","description":"金融の価格計算、資本、リスク管理。","status":"observing","brand":{"src":null,"monogram":"F","raster":false},"budget":null,"fullName":"FinanceBenchmark","area":"専門業務","officialUrl":"https://finbenchmark.ai/","what":"v2・v3 と実行環境を分離。3 回の試行条件を保持します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"3 回中 1 回以上の成功は pass@1 と異なります。指標、別名、安定した元データを確認中です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"FinanceBenchmark の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"prbench-legal","name":"PRBench · Legal","operator":"Scale AI","description":"複雑な法律問題の判断と論証。","status":"observing","brand":{"src":null,"monogram":"S","raster":false},"budget":null,"fullName":"PRBench · Legal","area":"専門業務","officialUrl":"https://labs.scale.com/leaderboard/prbench-legal","what":"Legal 500 問または Hard 250 問を固定し、検索、推論設定、裁判者を揃えます。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"専門的な質問回答はファイル制作ではありません。裁判者の好みや同一機関の重複を考慮します。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Scale AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"prbench-finance","name":"PRBench · Finance","operator":"Scale AI","description":"金融判断、導出、リスクの説明。","status":"observing","brand":{"src":null,"monogram":"S","raster":false},"budget":null,"fullName":"PRBench · Finance","area":"専門業務","officialUrl":"https://labs.scale.com/leaderboard/prbench-finance","what":"Finance 600 問または Hard 300 問を固定し、rubric の集計を使います。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"Scale の他評価と機関の重みを共有します。表計算制作や全業務の実行を示すものではありません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Scale AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"spreadsheetbench-2","name":"SpreadsheetBench 2","operator":"SpreadsheetBench / Renmin University / AfterQuery","description":"財務モデル、ブック修正、データ可視化。","status":"observing","brand":{"src":null,"monogram":"S","raster":false},"budget":null,"fullName":"SpreadsheetBench 2","area":"専門業務","officialUrl":"https://spreadsheetbench.github.io/","what":"V2 321 タスクと共通 SWE-agent 条件を固定します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"統一条件の当期モデルが不足しています。独立した製品や別 scaffold の成績を基礎モデルに帰属させません。","license":"公式サイトの MIT 表示。データとコードへの公開入口があります。","attribution":"SpreadsheetBench / Renmin University / AfterQuery の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vending-bench-2","name":"Vending-Bench 2","operator":"Andon Labs","description":"模擬店舗の仕入れ、交渉、在庫、価格決定。","status":"observing","brand":{"src":null,"monogram":"A","raster":false},"budget":null,"fullName":"Vending-Bench 2","area":"専門業務","officialUrl":"https://andonlabs.com/evals/vending-bench-2","what":"V2 単一 Agent の期末残高と複数実行のばらつきを比較します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"競争 Arena と別条件を分離。シミュレータの抜け穴による利益は、信頼できる経営能力と同じではありません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Andon Labs の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"tau-banking","name":"τ³-Banking","operator":"Sierra","description":"共通ツールによる銀行業務の実行。","status":"awaiting","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/sierra.png","monogram":"S","raster":true},"budget":0,"fullName":"τ³-Banking","area":"専門業務","officialUrl":"https://taubench.com/leaderboard/?benchmark=knowledge","what":"standard、v1.0.1、alltools、GPT-5.2 の利用者シミュレータ、pass@1 を固定します。","usage":"比較可能な新しい成績を待っています。欠測の重みを他分野に移しません。","limits":"ツール、プロンプト、音声、シミュレータが違う結果を混ぜず、比較可能な元データを待ちます。","license":"MIT · Sierra の公式リポジトリに基づく記録。出典の帰属を保持します。","attribution":"Sierra の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"epoch-ebr","name":"EBR-bench","operator":"Epoch AI","description":"長い仕事で規則を学び記憶を利用。","status":"reference_only","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/epoch.svg","monogram":"E","raster":false},"budget":null,"fullName":"EBR-bench","area":"専門業務","officialUrl":"https://epoch.ai/benchmarks/ebr-bench","what":"公開集計に含まれる記憶圧縮の設定を区別します。","usage":"元の結果を確認する参考資料です。総合・分類の順位には加点しません。","limits":"共通設定の結果が揃うまで参考のみとします。","license":"CC BY 4.0 · Epoch AI の公式評価データ。帰属と出典リンク、集約による変更を表示します。","attribution":"Epoch AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-excel","name":"Excel · EMB","operator":"Vals AI","description":"表計算の編集と Excel の仕事。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":null,"fullName":"Excel · EMB","area":"専門業務","officialUrl":"https://www.vals.ai/benchmarks/emb","what":"専用 Overall を Vals Index と分離します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"複数モデルへのフォールバックを除外し、個別の利用条件を確認中です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-legal","name":"Legal Research","operator":"Vals AI","description":"法律の検索と論証。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":null,"fullName":"Legal Research","area":"専門業務","officialUrl":"https://www.vals.ai/benchmarks/legal_research","what":"専用 Overall を総合指数と分離します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"固定された単一モデル条件と利用条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-tax","name":"TaxAgentBench","operator":"Vals AI","description":"税務の専門問題。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":null,"fullName":"TaxAgentBench","area":"専門業務","officialUrl":"https://www.vals.ai/benchmarks/tax_agent_bench","what":"専用ページの Overall を独立に確認します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"固定された単一モデル条件と利用条件の確認待ちです。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-medscribe","name":"MedScribe","operator":"Vals AI","description":"診療記録の整理と執筆。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":null,"fullName":"MedScribe","area":"専門業務","officialUrl":"https://www.vals.ai/benchmarks/medscribe","what":"専用ページの Overall を独立に確認します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"他の医療タスクへ一般化せず、個別の再表示条件を確認中です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"vals-biomystery","name":"BioMysteryBench","operator":"Vals AI","description":"生物学研究の推論。","status":"observing","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/vals.svg","monogram":"V","raster":false},"budget":null,"fullName":"BioMysteryBench","area":"専門業務","officialUrl":"https://www.vals.ai/benchmarks/biomysterybench","what":"専用ページの Overall を独立に確認します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"モデル混合を除外し、個別の再表示条件を確認中です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Vals AI の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"zapier-automation","name":"AutomationBench","operator":"Zapier","description":"複数の業務ソフトを使う自動化。","status":"observing","brand":{"src":null,"monogram":"Z","raster":false},"budget":null,"fullName":"AutomationBench","area":"専門業務","officialUrl":"https://zapier.com/benchmarks","what":"同一の公式私有テスト集合の設定のみを比較します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"Fable 5.1 と Opus 5 の混合行は除外。公開問題群を私有ランキングと同一視しません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Zapier の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"terminal-science","name":"Terminal-Bench Science","operator":"Harbor","description":"端末を使った科学研究。","status":"observing","brand":{"src":null,"monogram":"H","raster":false},"budget":null,"fullName":"Terminal-Bench Science","area":"専門業務","officialUrl":"https://www.terminal-bench-science.ai/","what":"Claude Code、Codex、mini-SWE などを分けて扱います。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"公開 12 モデルはシステムが混在し、当期モデルも揃っていません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Harbor の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"}]},{"key":"vision","name":"画像理解","blurb":"画像を読み取る能力。画像制作やデザインの美しさとは区別します。","sources":[{"key":"arena-vision","name":"Arena Vision","operator":"LMArena","description":"画像付き回答を人が比較。","status":"ranked","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/arena.svg","monogram":"L","raster":false},"budget":0.125,"fullName":"Arena Vision Style-Controlled","area":null,"officialUrl":"https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset","what":"公式 vision_style_control の overall のみ。画像生成や編集は含めません。","usage":"単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。","limits":"文体、利用者、質問分布に左右されます。同じ Arena を別の独立機関とは数えません。","license":"CC BY 4.0","attribution":"LMArena の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"roboflow-vision","name":"Roboflow Vision Evals","operator":"Roboflow","description":"画像理解、計数、OCR、情報抽出。","status":"observing","brand":{"src":null,"monogram":"R","raster":false},"budget":null,"fullName":"Roboflow Vision Evals","area":null,"officialUrl":"https://playground.roboflow.com/evals","what":"6 タスクの重みを共有し、正解率と裁判者の点数を区別します。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"新 API が制限中です。旧データを新ランキングとして扱わず、半範囲を 95% 区間に置き換えません。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"Roboflow の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"}]},{"key":"multilingual","name":"中国語・多言語","blurb":"言語別の証拠を確認し、英語の結果を他言語の能力に置き換えません。","sources":[{"key":"artificial-analysis-multilingual","name":"AA · 中国語・多言語","operator":"Artificial Analysis","description":"中国語と多言語の専用評価。","status":"awaiting","brand":{"src":"/api/site/leaderboard/assets/leaderboard-sources/artificial-analysis-purple-2026.svg","monogram":"A","raster":false},"budget":0,"fullName":"Artificial Analysis Multilingual Index","area":null,"officialUrl":"https://artificialanalysis.ai/models/multilingual","what":"公式多言語フィールドのみを参照し、単一言語の内訳を重複計上しません。","usage":"比較可能な新しい成績を待っています。欠測の重みを他分野に移しません。","limits":"専用データがない場合、12.5% の重みは空けます。英語指数やウェブ取得で代用しません。","license":"API の表示には明確な帰属表示が必要です。再配布および個別条件は Terms of Use と許諾に従います。","attribution":"Artificial Analysis の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"},{"key":"rws-mgate","name":"RWS M-GATE","operator":"RWS","description":"中国語を含む 30 言語の文法と翻訳。","status":"observing","brand":{"src":null,"monogram":"R","raster":false},"budget":null,"fullName":"RWS M-GATE","area":null,"officialUrl":"https://www.rws.com/artificial-intelligence/train-ai-data-services/research/m-gate/leaderboard/","what":"文法 MCC と翻訳を別に保存し、トークン化効率は能力に加点しません。","usage":"出典を調査中です。自動収集・ランキングへの加点はまだ行いません。","limits":"機械インターフェースの空応答、評価日、安定したエクスポートが未解決です。","license":"評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。","attribution":"RWS の公開資料を出典とします。元のスコアは尺度が異なるため単純加算できません。"}]}],"method":{"version":"2026.10-observed-evidence-v17","budgets":[{"key":"coding","name":"コーディング","weight":0.125,"sources":["DeepSWE v1.1","LiveBench · コーディング"]},{"key":"reasoning","name":"数学と推論","weight":0.125,"sources":["LiveBench · 推論と数学","FrontierMath v2 · Tiers 1–3","FrontierMath v2 · Tier 4","Chess Puzzles","Mystery Game Puzzles"]},{"key":"knowledge","name":"知識と事実","weight":0.125,"sources":["SimpleQA Verified","GPQA Diamond"]},{"key":"language","name":"言語理解と指示","weight":0.125,"sources":["LiveBench · 言語と指示"]},{"key":"writing","name":"文章と表現","weight":0.125,"sources":["Arena · 創作","Creative Writing v3","Longform Writing"]},{"key":"vision","name":"画像理解","weight":0.125,"sources":["Arena Vision"]},{"key":"professional","name":"専門業務","weight":0.125,"sources":["APEX-Agents 1.1","Vals Finance Agent"]},{"key":"multilingual","name":"中国語・多言語","weight":0.125,"sources":[]}],"anchors":["claude-fable-5","gpt-5-6-sol","kimi-k-3","qwen-3-8-max","gpt-5-4","claude-opus-4-8","claude-sonnet-5","grok-4-5","gemini-3-5-flash","glm-5-2","claude-sonnet-4-6","qwen-3-7-max","kimi-k-2-6","deepseek-v-4-pro","qwen-3-6-plus","minimax-m-3","gpt-5-4-mini","grok-4-3"]}}