MicrosoftとHugging Face、AIエージェントの状態変更を20回反復で評価するThinkingBoxを公開
MicrosoftとHugging Faceは、AIエージェントが残すデータベースの最終状態と副作用を評価するThinkingBoxとベンチマークThinkingBox-Benchを公開しました。507の業務ワークフローを対象に18モデルを各20回評価し、成功したツール呼び出しだけでは正しい結果や一貫性を判断できないことを示しています。ベンチマークはOpenEnv経由で利用できます。
推荐理由：会話やツール呼び出しではなく、データベースの最終状態と副作用で成否を判定し、20回の反復で業務エージェントの再現性を比較する評価方法が分かります。