Hugging Face Blog·· nullおすすめAIスコア69
HOPE、MoEモデルの専門家間相互作用を考慮する剪定手法を提案
Your Experts Have Partners. There's HOPE for Keeping Them Together
AIによる概要
HOPE（Higher-Order Pruning of Experts）は、MoEモデルの専門家同士のペア単位の相互作用を考慮して剪定対象を決める手法です。Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Airを評価し、剪定率50%では平均順位1.58で、次点のREAPの2.42を上回りました。
推荐理由
専門家の協調関係を考慮する剪定方法と、既存手法との比較結果が示されており、MoEモデルのメモリ削減を検討する際の具体的な判断材料になります。
出典：Hugging Face Blog · huggingface.co