コンテンツ形式
モデルの実力を比較：ベンチマークの結果、評価手法をめぐる議論、ランキングの変化を継続的に記録。
5 件のおすすめ過去30日間 0 件収録記事数 8 件
公開記事から選んだ直近12か月の主な出来事を、発表・発生日順に表示しています。
Hugging Faceは、オープンソースの多言語テキスト音声合成（TTS）モデルを評価するOpen TTS Leaderboardを公開しました。WER・CERによる明瞭度、H200 GPUやCPUでの生成速度、話者類似度を測定し、モデル評価にかかる時間を数週間から数時間に短縮します。人間の嗜好評価に代わるものではなく、自然さや表現力、聴き手の好みを直接測る指標ではないと説明しています。
推荐理由：評価が数週間から数時間に短縮される仕組みと、WERや速度などの指標を確認でき、人間の嗜好評価を補完する方法が分かります。
UK AI Security Institute（AISI）は、EvalEvalの基盤を使い、評価結果をEvaluation Cardsで公開しています。公開データには、論文の主要実験で扱った5つのベンチマークと6つのモデルの検証済み結果、背景情報、設定情報が含まれます。このデータは、推論時の計算量や評価プロトコルがベンチマーク性能にどう影響するかを調べるAISIの論文に付随しています。
推荐理由：評価条件や設定情報を含む結果を共通形式で公開し、異なる条件で得たベンチマークの比較を可能にする取り組みです。
AI2は、LLMベンチマークの個別設問が安全性や一般推論のどの能力を反映するかを分析する手法BenchMIRTを発表した。100モデル、16ベンチマーク、34K超の設問を用いた分析では、安全性と一般推論の2つの主要な能力次元を特定した。BBQは一般推論との関連が強く、WMDPのスコアも安全性より一般推論との関連が強かった。
推荐理由：ベンチマークの総合スコアに混在する能力を設問単位で分け、BBQやWMDPの評価が何を反映するかを読み解く方法を示している。
研究チームは、音声認識モデルが公開ベンチマークに特化している度合いを測る3つのテストを用い、広く使われるオープンソースASRモデル11種を評価しました。
推荐理由：11種類のオープンソース音声認識モデルを3つのテストで調べ、公開ベンチマークのスコアが音声の忠実な書き起こしをどの程度反映しないかを具体例と数値で示しています。
Hugging Faceは、コミュニティ参加者1,221人が19日間でICML 2026の論文2,226本を再現検証したハッカソンの結果を公開した。35,908件の主張を判定し、検証した論文の51%で少なくとも1件の主張を独立に確認する一方、23%では反証または異論があった。
推荐理由：論文単位の再現率だけでなく、検証済みの誤りや誤検出も具体例で示し、AIエージェントによる研究監査の可能性と人間の役割を考える材料になる。