Hugging Face Blog·おすすめAIスコア74
Liquid AI、LFM2.5向けDSparkドラフトモデルを公開し、推論を最大3.18倍高速化
Up to 3.2x Faster Inference with LFM2.5-DSpark
AIによる概要
Liquid AIは、LFM2.5-1.2B-Instruct、LFM2.5-2.6B、LFM2.5-8B-A1B向けのDSparkドラフトモデルを公開し、推測デコーディングによる推論高速化を可能にしました。
推荐理由
GPUとMacBookでの速度向上を同じベンチマーク条件で比較し、モデルごとの伸びの差やMoE実装上の制約も示しています。
出典：Hugging Face Blog · huggingface.co