AIFIND / MODEL INTELLIGENCE
DeepSWE v1.1
DeepSWE v1.1 · DataCurve
共通のコーディング環境で修正・実装。
何を測るか
v1.1 の pass@1 のみ。共通 mini-swe-agent 内で固定した推論設定の優先順位を使います。
ランキングでの扱い
単一モデルの評価条件を確認した測定のみが、固定された分野・タスク群の重みで集計対象になります。有効な重みは各公開集計に保存します。
比較の限界
基礎モデルと mini-swe-agent の組合せの結果です。大きなプロトコル変更は分離します。公開前に再表示許諾を確認します。
出典・利用条件
公式公開データ。従来記録は管理者の私的観察用で、公開前に許諾を再確認します。
DataCurve による成績です。元の点数は尺度が異なるため単純加算せず、固定の基準尺度で比較します。
最終取得確認 2026/10/04 20:02 JST · 最後の成功 2026/10/04 20:02 JST。リアルタイムの成績ではありません。
元の評価結果
出典公開 2026/09/22 JST · 取得確認 2026/10/04 20:02 JST
固定規則でモデルごとの代表設定を選択します。不採用の理由と元の順位を保持し、最大 30 モデルを表示。匿名モデルは除外します。
| 元の順位 | モデル・設定 | 元のスコア | 採否 |
|---|---|---|---|
| 2 | gemini-3-8-flashHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 73.8% | 採用可能 |
| 3 | claude-opus-5Max 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 73.6% | 採用可能 |
| 4 | gpt-6-astraMax 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 73.2% | 採用可能 |
| 9 | gpt-5-6-solMax 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 72.7% | 採用可能 |
| 13 | claude-fable-5Max 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 69.7% | 採用可能 |
| 14 | gpt-5-6-terraMax 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 69.6% | 採用可能 |
| 16 | glm-5-3Max 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 69.0% | 採用可能 |
| 19 | kimi-k3Max 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 68.5% | 採用可能 |
| 21 | gpt-5-6-lunaMax 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 67.2% | 採用可能 |
| 22 | gpt-5-5xHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 67.0% | 採用可能 |
| 24 | grok-4-6xHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 66.7% | 採用可能 |
| 27 | gemini-3-7-flashHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 65.3% | 採用可能 |
| 30 | glm-5-3-flashMax 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 63.4% | 採用可能 |
| 31 | deepseek-v4-proMax 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 62.8% | 採用可能 |
| 35 | claude-opus-4-8Max 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 59.0% | 採用可能 |
| 37 | qwen3-8-maxxHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 57.5% | 採用可能 |
| 39 | muse-spark-1-2xHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 54.9% | 採用可能 |
| 42 | claude-sonnet-5Max 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 53.8% | 採用可能 |
| 43 | grok-4-5High 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 53.8% | 採用可能 |
| 46 | muse-spark-1-1xHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 53.3% | 採用可能 |
| 46 | deepseek-v4-flashMax 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 53.3% | 採用可能 |
| 48 | gpt-5-4xHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 51.8% | 採用可能 |
| 53 | gemini-3-6-flashHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 46.7% | 採用可能 |
| 56 | glm-5-2Max 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 43.8% | 採用可能 |
| 61 | gemini-3-5-flashHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 36.1% | 採用可能 |
| 63 | kimi-k2-7-codeシステム全体 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 30.5% | 採用可能 |
| 65 | claude-sonnet-4-6High 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 29.9% | 採用可能 |
| 68 | gemini-3-1-pro-previewHigh 推論 · mini-swe-agent · deepswe-v1.1:mini-swe-agent | 11.7% | 採用可能 |