Hugging Face Blog·· 2 小时前AI 评分42
Hugging Face 提出 HOPE：用二阶方法剪枝 MoE 专家
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI 导读
Hugging Face 提出 HOPE（Higher-Order Pruning of Experts），一种考虑专家两两交互的二阶 MoE 专家剪枝方法。在 50% 剪枝率下，HOPE 平均排名优于所有对比方法，在智能体编程任务上比次优方法最高提升 +6.1%。
来源：Hugging Face Blog · huggingface.co