MicrosoftとHugging Faceは、AIエージェントが残すデータベースの最終状態と副作用を評価するThinkingBoxとベンチマークThinkingBox-Benchを公開しました。507の業務ワークフローを対象に18モデルを各20回評価し、成功したツール呼び出しだけでは正しい結果や一貫性を判断できないことを示しています。ベンチマークはOpenEnv経由で利用できます。
推荐理由：会話やツール呼び出しではなく、データベースの最終状態と副作用で成否を判定し、20回の反復で業務エージェントの再現性を比較する評価方法が分かります。
Multiverse Computingは、MCPエージェントの回答について、各主張を支える情報源と回答中で示された情報源が一致するかを検証するProvenanceGuardを発表しました。
推荐理由：複数のMCPツールの出力を一括せず、主張ごとに根拠の出所と回答中の帰属を照合する設計を、医療エージェントの評価結果とともに確認できます。
ALTK-Evolveに、AIエージェントの判断の揺らぎを調べるConsistency Analyzerと、一貫性を改善するガイドライン生成機能が追加されました。研究チームは、GPT-4.1を使うAppWorldの実験で、平均成功率を下げずに実行間の一貫性を改善したと報告しています。
推荐理由：平均成功率だけでは見えないエージェントの再現性を、Pass^kとMean@kの差で測り、判断の揺らぎを特定して改善する手順を示しています。
AI2は、LLMベンチマークの個別設問が安全性や一般推論のどの能力を反映するかを分析する手法BenchMIRTを発表した。100モデル、16ベンチマーク、34K超の設問を用いた分析では、安全性と一般推論の2つの主要な能力次元を特定した。BBQは一般推論との関連が強く、WMDPのスコアも安全性より一般推論との関連が強かった。
推荐理由：ベンチマークの総合スコアに混在する能力を設問単位で分け、BBQやWMDPの評価が何を反映するかを読み解く方法を示している。
Hugging FaceとVoice Arenaは、Open ASR Leaderboardにヒンディー語とインド英語の評価セット「Monsoon en-IN」「Monsoon hi-IN」を追加した。4つの公開・非公開分割は計4,888人の話者から収集され、各話者の属性を記録している。ヒンディー語では表記の異形を許容する lattice を採用し、OIWERで評価する。
推荐理由：話者属性や地域別に認識誤差を分析できる評価セットと、ヒンディー語の表記揺れを扱う採点方式を導入し、従来のWERでは見えにくい差を比較できます。
Multiverse Computingは、圧縮・4-bit化した大規模言語モデルを回復する手法Quantization-Aware Healing（QAH）を発表した。
推荐理由：元モデルを教師にする設計とベンチマーク結果を通じて、圧縮後の4-bitモデルで精度を回復する方法を比較できる。
研究チームは、音声認識モデルが公開ベンチマークに特化している度合いを測る3つのテストを用い、広く使われるオープンソースASRモデル11種を評価しました。
推荐理由：11種類のオープンソース音声認識モデルを3つのテストで調べ、公開ベンチマークのスコアが音声の忠実な書き起こしをどの程度反映しないかを具体例と数値で示しています。
Hugging FaceとIBM Researchは、ALTK-Evolveによるエージェントの自己蒸留メモリを8モデルで評価し、適切なガイドライン量はモデルの能力によって異なると報告しました。
推荐理由：8モデルをAppWorldで比較し、性能帯ごとに有効なメモリ量が異なる結果を示しており、精度とトークンコストの調整方法を把握できます。
Hugging Faceは、Hub上の活動データに基づき、2026年1〜8月のオープンモデル市場の動向をまとめた。モデル数やデータセット数が増える一方、ダウンロードは少数のリポジトリに集中し、「いいね」が示す注目とダウンロードが示す利用には大きな隔たりがある。分析では、Qwenの派生モデルが151,448件に達したことや、エージェントによるHubへのアクセスが増えていることも報告している。
推荐理由：ダウンロード数と「いいね」を分けて読むことで、注目度と継続利用の違いを示し、公開モデルの普及を捉える視点を提供している。
Hugging Faceは、コミュニティ参加者1,221人が19日間でICML 2026の論文2,226本を再現検証したハッカソンの結果を公開した。35,908件の主張を判定し、検証した論文の51%で少なくとも1件の主張を独立に確認する一方、23%では反証または異論があった。
推荐理由：論文単位の再現率だけでなく、検証済みの誤りや誤検出も具体例で示し、AIエージェントによる研究監査の可能性と人間の役割を考える材料になる。