AWS Machine Learning Blog· Sunita Nadampalli·· 3 小时前AI 评分38
vLLM 推出 push 模式 KV 传输，分离式推理 TTFT 最高提升 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 新增 push 模式 NIXL connector，将 KV 传输的协调与准备工作移出首 token 关键路径，在 AWS EFA 连接的 P5en 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 提升最多 30%。该功能先在 AWS Trainium 集群验证，再以与加速器无关的形式贡献给 vLLM，GPU 集群同样受益。
来源：AWS Machine Learning Blog · aws.amazon.com