Hugging Face Blog·おすすめAIスコア82
Hugging Face Transformers、GGUFモデルのローカル実行に対応
Transformers now runs llama.cpp quants
AIによる概要
Hugging Faceは、TransformersでGGUF形式のモデルを読み込み、ローカル実行できるようにしました。初期対応はApple Silicon上のQwen3.5系で、ggmlのMetalカーネルを利用し、ベンチマークでは3種類のチェックポイントでllama.cppに近い性能を示しています。現時点のパック済み推論はMPSのみで、対応アーキテクチャにも制限があります。
推荐理由
GGUFをTransformersで扱う方法に加え、llama.cppとの速度比較や対応環境も示され、ローカル推論での使い分けを判断できます。
出典:Hugging Face Blog · huggingface.co