Hugging Face Blog·おすすめAIスコア72
Liquid AI、視覚言語モデル「LFM2.5-VL-3B」向けDSparkドラフトモデルを公開
Accelerating vision-language models with LFM2.5-VL-DSpark
AIによる概要
Liquid AIは、視覚言語モデル「LFM2.5-VL-3B」向けの実験的なDSparkドラフトモデル「LFM2.5-VL-DSpark」を公開した。推測デコーディングにより、デバイス上で最大3.13倍、H100で最大2.66倍のデコード速度を示し、エンドツーエンドの速度向上はそれぞれ最大2.62倍、2.27倍。
推荐理由
タスク別の推論速度とエンドツーエンドの改善幅を示し、推測デコーディングがVLMの処理全体に与える効果を比較できます。
出典:Hugging Face Blog · huggingface.co