Hugging Face 介绍 Token Pooling 感知训练

Hugging Face 发布博客，介绍多向量嵌入模型的 Token Pooling 感知训练方法。据博客称，在 pool_factor=4、文档向量减少 4 倍的存储预算下，常规训练的模型保留了未池化 NanoBEIR nDCG@10 的 94.6%，而感知训练将这一保留率提升至 97.8%。 该方法默认保护第一个 token 不被合并，池化只作用于文档嵌入，查询嵌入保持不变。博客中的演示在 A10G GPU 上运行，限时四小时。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。