双向 KV cache 传输优化多轮 Agent 工作负载的 TTFT进展
先了解这件事
AI 极客新闻报道了 Qwen3-32B 和 GLM-5-FP8 模型通过双向 KV 传输优化多轮 Agent 工作负载，显著降低 TTFT。在 Amazon EC2 P5en 实例上，Qwen3-32B 的 TTFT 降低 1.6 倍，GLM-5-FP8 降低 3.3 倍。vLLM Team Blog 发布了基于推式的 KV 转移功能，提升了 TTFT 和 TPOT 性能，该功能已在 AWS Trainium 实例集群上验证。AWS Machine Learning Blog 进一步报道了 vLLM 通过双向 KV 转移机制优化了多轮智能体工作负载的 TTFT，并介绍了推式 KV 转移机制如何通过 NVIDIA Inference Xfer Library (NIXL) 连接器提升推理性能，相较于拉模式，推式模式将 TTFT 提升至 3 倍，TPOT 提升至 30%。
AI 根据报道生成 · 2 小时前更新
事件进展
- 10月20日 00:05 · 1 篇报道AWS 推出基于推模式的 KV 转移以优化 vLLM 的 TTFT 和 TPOTAWS Machine Learning Blog：vLLM 推式 KV 转移优化：提升大规模语言模型推理性能
- 10月20日 00:03 · 1 篇报道AWS Machine Learning Blog 发布了关于在 vLLM 中使用双向 KV 转换来改进多轮对话工作负载AWS Machine Learning Blog：vLLM 中双向 KV 转移优化多轮智能体工作负载的 TTFT
- 10月14日 08:00 · 1 篇报道vLLM 引入基于推的 KV 转移以优化 TTFT 和 TPOTvLLM Team Blog：vLLM 推出基于推式的 KV 转移功能，提升 TTFT 和 TPOT 性能
- 10月13日 13:05 · 1 篇报道双向 KV cache 传输优化多轮 Agent 工作负载的 TTFTAI 极客新闻：Qwen3-32B 与 GLM-5-FP8 模型中双向 KV 传输优化多轮 Agent 工作负载的 TTFT
报道时间线
沿着报道，了解事件的不同侧面。
- AWS Machine Learning BlogvLLM 推式 KV 转移优化：提升大规模语言模型推理性能
vLLM 推出基于推式的 KV 转移机制，通过 NVIDIA Inference Xfer Library (NIXL) 连接器，实现高效的关键值缓存转移，降低首次输出时间 (TTFT) 和每输出 token 时间 (TPOT)，在 Amazon EC2 P5en 实例上，相较于拉模式，推式模式将 TTFT 提升至 3 倍，TPOT 提升至 30%。
- AWS Machine Learning BlogvLLM 中双向 KV 转移优化多轮智能体工作负载的 TTFT
vLLM 通过双向 KV 转移机制，在多轮智能体工作负载中优化了时间到第一个 token（TTFT），在 Amazon EC2 P5en 实例上，双向 KV 转移将 Qwen3-32B 的 TTFT 降低了 1.6 倍，zai-org/GLM-5-FP8 降低了 3.3 倍。
- vLLM Team BlogvLLM 推出基于推式的 KV 转移功能，提升 TTFT 和 TPOT 性能
vLLM 推出基于推式的 KV 转移功能，通过优化数据传输流程，将时间到第一个 token（TTFT）和每个输出 token 的时间（TPOT）分别提升了 3 倍和 30%，有效提升了应用响应速度。该功能已在 AWS Trainium 实例集群上验证，并作为加速器无关特性贡献给 vLLM。
- AI 极客新闻Qwen3-32B 与 GLM-5-FP8 模型中双向 KV 传输优化多轮 Agent 工作负载的 TTFT
Qwen3-32B 和 GLM-5-FP8 模型通过双向 KV 传输优化多轮 Agent 工作负载，降低 TTFT。在 Amazon EC2 P5en 实例上，Qwen3-32B 的 TTFT 降低 1.6 倍，GLM-5-FP8 降低 3.3 倍。
本事件热度走势
当前热度 10·可比范围峰值 10（10月20日 01:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。