本文へ移動
Hugging Face Blog·おすすめAIスコア82

Hugging Face Transformers、GGUFモデルのローカル実行に対応

Transformers now runs llama.cpp quants

AIによる概要

Hugging Faceは、TransformersでGGUF形式のモデルを読み込み、ローカル実行できるようにしました。初期対応はApple Silicon上のQwen3.5系で、ggmlのMetalカーネルを利用し、ベンチマークでは3種類のチェックポイントでllama.cppに近い性能を示しています。現時点のパック済み推論はMPSのみで、対応アーキテクチャにも制限があります。

推荐理由

GGUFをTransformersで扱う方法に加え、llama.cppとの速度比較や対応環境も示され、ローカル推論での使い分けを判断できます。

出典:Hugging Face Blog · huggingface.co