跳到正文
Hugging Face Blog·· 12 小时前精选AI 评分60

PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码

MPS in PyTorch 2.15

AI 导读

Hugging Face 的 PyTorch 团队介绍了 PyTorch 2.15 在 MPS 后端上的更新,新增 float8_e4m3fn 张量与 F.scaled_mm 支持,让 FP8 权重可在 Mac 上直接参与计算。

推荐理由

原文给出 MPS 后端在 FP8、MoE 解码和显存占用上的具体数字,可据此判断 Mac 本地跑模型的实际变化。

来源:Hugging Face Blog · huggingface.co