本文へ移動
9月16日水曜
  1. Hugging Face Blog73

    ALTK-Evolveの一貫性ガイドラインでAIエージェントの再現性を改善

    ALTK-Evolveに、AIエージェントの判断の揺らぎを調べるConsistency Analyzerと、一貫性を改善するガイドライン生成機能が追加されました。研究チームは、GPT-4.1を使うAppWorldの実験で、平均成功率を下げずに実行間の一貫性を改善したと報告しています。

    推荐理由:平均成功率だけでは見えないエージェントの再現性を、Pass^kとMean@kの差で測り、判断の揺らぎを特定して改善する手順を示しています。

8月28日金曜
  1. Hugging Face Blog82

    Hugging FaceとVoice Arena、ヒンディー語とインド英語のASR評価セットを公開

    Hugging FaceとVoice Arenaは、Open ASR Leaderboardにヒンディー語とインド英語の評価セット「Monsoon en-IN」「Monsoon hi-IN」を追加した。4つの公開・非公開分割は計4,888人の話者から収集され、各話者の属性を記録している。ヒンディー語では表記の異形を許容する lattice を採用し、OIWERで評価する。

    推荐理由:話者属性や地域別に認識誤差を分析できる評価セットと、ヒンディー語の表記揺れを扱う採点方式を導入し、従来のWERでは見えにくい差を比較できます。

8月21日金曜
  1. Hugging Face Blog72

    音声認識モデルのベンチマーク最適化を測る3つのテストを研究チームが提案

    研究チームは、音声認識モデルが公開ベンチマークに特化している度合いを測る3つのテストを用い、広く使われるオープンソースASRモデル11種を評価しました。

    推荐理由:11種類のオープンソース音声認識モデルを3つのテストで調べ、公開ベンチマークのスコアが音声の忠実な書き起こしをどの程度反映しないかを具体例と数値で示しています。

8月13日木曜
  1. Hugging Face Blog82

    Hugging Face、ICML 2026の論文2,226本を再現検証したハッカソンの結果を公開

    Hugging Faceは、コミュニティ参加者1,221人が19日間でICML 2026の論文2,226本を再現検証したハッカソンの結果を公開した。35,908件の主張を判定し、検証した論文の51%で少なくとも1件の主張を独立に確認する一方、23%では反証または異論があった。

    推荐理由:論文単位の再現率だけでなく、検証済みの誤りや誤検出も具体例で示し、AIエージェントによる研究監査の可能性と人間の役割を考える材料になる。