本文へ移動
Hugging Face Blog·おすすめAIスコア65

UK AISI、EvalEvalのEvaluation Cardsで評価結果を公開

How UK AISI and EvalEval Are Making Benchmark Results Reproducible

AIによる概要

UK AI Security Institute(AISI)は、EvalEvalの基盤を使い、評価結果をEvaluation Cardsで公開しています。公開データには、論文の主要実験で扱った5つのベンチマークと6つのモデルの検証済み結果、背景情報、設定情報が含まれます。このデータは、推論時の計算量や評価プロトコルがベンチマーク性能にどう影響するかを調べるAISIの論文に付随しています。

推荐理由

評価条件や設定情報を含む結果を共通形式で公開し、異なる条件で得たベンチマークの比較を可能にする取り組みです。

出典:Hugging Face Blog · huggingface.co