跳到正文
热点事件持续更新

Hugging Face 提出二阶 MoE 专家剪枝方法 HOPE

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种在剪枝时考虑专家两两交互的二阶 MoE 专家剪枝方法,并发布了配套代码。Hugging Face 称,在 50% 剪枝率下,HOPE 的平均排名优于所有对比方法,在智能体编程任务上比次优方法最高提升 +6.1%。 Hugging Face 表示,HOPE 的优势在 40–50% 的较高剪枝率下最明显;在 10–20% 的低剪枝率下,REAP、MAN 等一阶方法有时仍有竞争力,HOPE 的优势会缩小。 该方法逐层独立剪枝,未考虑跨层交互。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. Hugging Face Blog
    Hugging Face 提出 HOPE:用二阶方法剪枝 MoE 专家

    Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 专家剪枝方法。在 50% 剪枝率下,HOPE 平均排名优于所有对比方法,在智能体编程任务上比次优方法最高提升 +6.1%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。