OpenAI、メンタルヘルス対話の評価ベンチマーク「MentalHealthBench」を発表
OpenAIは、現実的なメンタルヘルス対話におけるAIの応答を評価するベンチマーク「MentalHealthBench」を発表した。専門家の知見を取り入れ、有用性と安全性を評価する。
#評価・ベンチマーク
OpenAI NewsAIスコア4141
Hugging Face BlogおすすめAIスコア6666 AI2、BenchMIRTでLLMベンチマークの設問ごとの評価能力を分析
AI2は、LLMベンチマークの個別設問が安全性や一般推論のどの能力を反映するかを分析する手法BenchMIRTを発表した。100モデル、16ベンチマーク、34K超の設問を用いた分析では、安全性と一般推論の2つの主要な能力次元を特定した。BBQは一般推論との関連が強く、WMDPのスコアも安全性より一般推論との関連が強かった。
推荐理由：ベンチマークの総合スコアに混在する能力を設問単位で分け、BBQやWMDPの評価が何を反映するかを読み解く方法を示している。
Google DeepMindAIスコア5656 Google DeepMind、暗号技術を用いたAIモデルのダブルブラインド評価を試行
Google DeepMindは、独自の最先端AIモデルを対象とする世界初のダブルブラインド評価を試行すると発表しました。Singapore AI Safety Institute、OpenMined、AVERI、MLCommonsと連携し、Gemini Flash Liteを機密ベンチマークで評価します。
Hugging Face BlogおすすめAIスコア7272 音声認識モデルのベンチマーク最適化を測る3つのテストを研究チームが提案
研究チームは、音声認識モデルが公開ベンチマークに特化している度合いを測る3つのテストを用い、広く使われるオープンソースASRモデル11種を評価しました。
推荐理由：11種類のオープンソース音声認識モデルを3つのテストで調べ、公開ベンチマークのスコアが音声の忠実な書き起こしをどの程度反映しないかを具体例と数値で示しています。
Hugging Face BlogおすすめAIスコア8282 Hugging Face、ICML 2026の論文2,226本を再現検証したハッカソンの結果を公開
Hugging Faceは、コミュニティ参加者1,221人が19日間でICML 2026の論文2,226本を再現検証したハッカソンの結果を公開した。35,908件の主張を判定し、検証した論文の51%で少なくとも1件の主張を独立に確認する一方、23%では反証または異論があった。
推荐理由：論文単位の再現率だけでなく、検証済みの誤りや誤検出も具体例で示し、AIエージェントによる研究監査の可能性と人間の役割を考える材料になる。