热点事件持续更新

vLLM 推出推式 KV 传输，TTFT 最高提升 3 倍

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AWS 在 vLLM 中新增基于 NIXL 的推式（push）KV 传输连接器，把预填充后 KV 传输的协调与准备工作移出首 token 的关键路径。在 AWS EFA 连接的 P5en 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 提升最多 30%；该功能先在 AWS Trainium 集群验证，再以与加速器无关的形式贡献给 vLLM，GPU 集群同样受益。使用时需把预填充和解码服务器都配置为 NixlPushConnector。AWS 称，推式连接器适合可提前选定解码节点、以降低 TTFT 为优先的场景；需要双向 KV 传输、或要在预填充后按负载选择解码实例的工作负载，仍更适合拉式连接器。其他受支持配置也可运行，但性能会随硬件、模型、工作负载和网络配置变化。

AI 根据报道生成 · 2 小时前更新

最新进展10月20日 00:05

vLLM 推出 push 模式 KV 传输，分离式推理 TTFT 最高提升 3 倍

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

00:05
AWS Machine Learning Blog
vLLM 推出 push 模式 KV 传输，分离式推理 TTFT 最高提升 3 倍
vLLM 新增 push 模式 NIXL connector，将 KV 传输的协调与准备工作移出首 token 关键路径，在 AWS EFA 连接的 P5en 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 提升最多 30%。该功能先在 AWS Trainium 集群验证，再以与加速器无关的形式贡献给 vLLM，GPU 集群同样受益。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。