MicrosoftとHugging Face、AIエージェントの状態変更を20回反復で評価するThinkingBoxを公開

MicrosoftとHugging Faceは、AIエージェントが残すデータベースの最終状態と副作用を評価するThinkingBoxとベンチマークThinkingBox-Benchを公開しました。507の業務ワークフローを対象に18モデルを各20回評価し、成功したツール呼び出しだけでは正しい結果や一貫性を判断できないことを示しています。ベンチマークはOpenEnv経由で利用できます。