vLLM 引入基于推送的 KV 传输机制以降低分离式推理 TTFT 与 TPOT

AWS 工程师向 vLLM 贡献了基于推送（Push-based）的 NIXL KV 传输连接器，通过将解码端块注册与预填计算重叠来优化分离式推理延迟。在 Amazon EC2 P5en 搭配 EFA 网络运行 Qwen3-32B 的测试中，推送模式相比传统拉取模式使首字时间（TTFT）最高降低至三分之一，每输出 token 时间（TPOT）改善最多 30%。