評価データの出典

AA Index

共通環境で複数の評価を実施する総合能力指数。

LiveBench

更新される問題を用いた、客観採点の総合評価。

Arena Text

回答を匿名で比較する、人による好みの評価。

Arena WebDev

ウェブサイトの使いやすさと完成度を人が比較。

LiveBench · 言語と指示

Language と IF を各 50% で平均。

Arena · 創作

物語、詩、創造的な文章を人が比較。

ウェブ、UI、グラフ、スライドのデザイン比較。

EQ-Bench 4 · 感情理解

対話における感情や意図の理解。

人物、筋、文体の条件を満たす短編小説。

指定された文体の動画台本。

動画台本の物語、文体、テンポ、明瞭さ。

作家の改稿、続きの執筆、要約、翻訳。

ウェブ作品、アクセシビリティ、好みの比較。

同一プロンプトで生成した SVG の比較。

Rapidata SVG

人によるベクター画像の好み。

Creative Writing v3

短編創作と文章表現。

Longform Writing

長編物語の一貫性と完成度。

DeepSWE v1.1

共通のコーディング環境で修正・実装。

TapTap Maker

Lua で実際に動くゲーム機能を実装。

LiveBench · コーディング

Coding と Agentic Coding を各 50% で平均。

業務資料から顧客対応 Agent を作成・検証。

実際のリポジトリで継続的に修正能力を評価。

長時間の端末操作による複雑な開発。

モデルと Agent の組合せによる端末タスク。

MirrorCode

長時間のソフトウェア再現。

Code Migration

コード移行と API の変更。

ProgramBench

完全なプログラムの実装と納品。

実際のリポジトリの品質、テスト、変更範囲。

長時間のエンジニアリングと研究。

未知のデータへの機械学習実装。

LiveBench · 推論と数学

Reasoning と Mathematics を各 50% で平均。

日常の常識と論理的な制約の理解。

FrontierMath v2 · Tiers 1–3

研究水準の数学推論。

FrontierMath v2 · Tier 4

さらに難しい研究水準の数学。

Chess Puzzles

文字による盤面から正しい指し手を選択。

Mystery Game Puzzles

未知の規則から行動を推論。

Lean で数学的証明を検証。

数学的証明の誤りを発見・修正。

最近の数学論文から作られた問題。

未知の規則の学習と汎化。

未知の規則の学習と汎化。

検索を使わずに世界の事実を回答。

複数分野の難しい学術知識と推論。

質問の誤った前提を識別する能力。

SimpleQA Verified

短い事実質問の正確さ。

GPQA Diamond

大学院水準の物理、化学、生物学。

APEX-Agents 1.1

投資銀行、コンサルティング、法律の長い仕事。

Vals Finance Agent

金融アナリストの調査と分析。

実際の財務文書の検索、計算、回答。

法律資料からレビュー可能な文書を制作。

MCP による文書、検索、データベースの作業。

金融の価格計算、資本、リスク管理。

複雑な法律問題の判断と論証。

金融判断、導出、リスクの説明。

財務モデル、ブック修正、データ可視化。

模擬店舗の仕入れ、交渉、在庫、価格決定。

τ³-Banking

共通ツールによる銀行業務の実行。

EBR-bench

長い仕事で規則を学び記憶を利用。

Excel · EMB

表計算の編集と Excel の仕事。

Legal Research

法律の検索と論証。

TaxAgentBench

税務の専門問題。

MedScribe

診療記録の整理と執筆。

BioMysteryBench

生物学研究の推論。

複数の業務ソフトを使う自動化。

端末を使った科学研究。

Arena Vision

画像付き回答を人が比較。

画像理解、計数、OCR、情報抽出。

AA · 中国語・多言語

中国語と多言語の専用評価。

中国語を含む 30 言語の文法と翻訳。