vLLM Team Blog - GLM 5.3 优化：混合 HiSparse 卸载在 vLLM 中的应用

vLLM Team Blog 发布了关于 GLM 5.3 的新优化，其中混合 HiSparse 卸载技术使得在单个 8× H200 节点上部署的 GLM 5.3 能够达到 1 百万上下文长度，并显著提高并发性。这种技术通过将除选定的 K 个 token 之外的所有 KV 缓存卸载到 CPU，从而有效管理 GPU 内存。