vLLM 的分层 KV 缓存卸载技术解析

vLLM 引入分层 KV 缓存卸载技术，通过在主机内存、存储和远程节点间保存卸载的 KV 数据，减少计算、降低延迟并提高集群服务能力。该框架自 v0.22 版本起可用，支持文件系统和对象存储等二级存储，实现缓存横向扩展和负载均衡。