本文へ移動
9月22日火曜
  1. Hugging Face Blog65

    UK AISI、EvalEvalのEvaluation Cardsで評価結果を公開

    UK AI Security Institute(AISI)は、EvalEvalの基盤を使い、評価結果をEvaluation Cardsで公開しています。公開データには、論文の主要実験で扱った5つのベンチマークと6つのモデルの検証済み結果、背景情報、設定情報が含まれます。このデータは、推論時の計算量や評価プロトコルがベンチマーク性能にどう影響するかを調べるAISIの論文に付随しています。

    推荐理由:評価条件や設定情報を含む結果を共通形式で公開し、異なる条件で得たベンチマークの比較を可能にする取り組みです。