Hugging Face Blog·おすすめAIスコア65
UK AISI、EvalEvalのEvaluation Cardsで評価結果を公開
How UK AISI and EvalEval Are Making Benchmark Results Reproducible
AIによる概要
UK AI Security Institute(AISI)は、EvalEvalの基盤を使い、評価結果をEvaluation Cardsで公開しています。公開データには、論文の主要実験で扱った5つのベンチマークと6つのモデルの検証済み結果、背景情報、設定情報が含まれます。このデータは、推論時の計算量や評価プロトコルがベンチマーク性能にどう影響するかを調べるAISIの論文に付随しています。
推荐理由
評価条件や設定情報を含む結果を共通形式で公開し、異なる条件で得たベンチマークの比較を可能にする取り組みです。
出典:Hugging Face Blog · huggingface.co