MicrosoftとHugging Faceは、AIエージェントが残すデータベースの最終状態と副作用を評価するThinkingBoxとベンチマークThinkingBox-Benchを公開しました。507の業務ワークフローを対象に18モデルを各20回評価し、成功したツール呼び出しだけでは正しい結果や一貫性を判断できないことを示しています。ベンチマークはOpenEnv経由で利用できます。
推荐理由：会話やツール呼び出しではなく、データベースの最終状態と副作用で成否を判定し、20回の反復で業務エージェントの再現性を比較する評価方法が分かります。
ALTK-Evolveに、AIエージェントの判断の揺らぎを調べるConsistency Analyzerと、一貫性を改善するガイドライン生成機能が追加されました。研究チームは、GPT-4.1を使うAppWorldの実験で、平均成功率を下げずに実行間の一貫性を改善したと報告しています。
推荐理由：平均成功率だけでは見えないエージェントの再現性を、Pass^kとMean@kの差で測り、判断の揺らぎを特定して改善する手順を示しています。
Hugging FaceとIBM Researchは、ALTK-Evolveによるエージェントの自己蒸留メモリを8モデルで評価し、適切なガイドライン量はモデルの能力によって異なると報告しました。
推荐理由：8モデルをAppWorldで比較し、性能帯ごとに有効なメモリ量が異なる結果を示しており、精度とトークンコストの調整方法を把握できます。
Hugging Faceは、Hub上の活動データに基づき、2026年1〜8月のオープンモデル市場の動向をまとめた。モデル数やデータセット数が増える一方、ダウンロードは少数のリポジトリに集中し、「いいね」が示す注目とダウンロードが示す利用には大きな隔たりがある。分析では、Qwenの派生モデルが151,448件に達したことや、エージェントによるHubへのアクセスが増えていることも報告している。
推荐理由：ダウンロード数と「いいね」を分けて読むことで、注目度と継続利用の違いを示し、公開モデルの普及を捉える視点を提供している。