Harvey Legal Agent Benchmark

何を測るか

共通の私有問題、6 ツール、docx・xlsx・pptx、ネット接続なしで、2 裁判者の全タスク通過率を使います。

ランキングでの扱い

出典を調査中です。自動収集・ランキングへの加点はまだ行いません。

比較の限界

単項目の約 90% と仕事全体の完了は別です。Fable の別モデルへのフォールバックを除外し、許諾と固定データを確認中です。

出典・利用条件

評価結果の再表示・再配布条件は未確認です。コードや問題集のライセンスを結果の許諾に置き換えません。

Vals AI / Harvey による成績です。元の点数は尺度が異なるため単純加算せず、固定の基準尺度で比較します。