长视频记忆要一次写入多次查询：Microsoft Video-EMem，进化 +7.2%、存储约 −99.86%

查看PDF HTML（实验性）

摘要：长视频往往超过了多模态大型语言模型（MLLMs）的上下文容量，而代理搜索则重复了每次查询都昂贵的视频处理和定位。可重用内存可以分摊这种成本，但必须保留在构建过程中未知的问题信息。我们提出了Video-EMem，这是一种基于时间锚定感知观察的可演化视频内存利用工具。这种表示结合了紧凑的自由格式文本和稀疏图像，以保留语义内容和互补的视觉细节，支持跨时间尺度的导航，而不需要固定的语义模式。Writer通过整合重叠的多尺度观察来编码每个视频一次，而Reader则仅从结果内存中检索和组织证据。在底层模型冻结的情况下，我们使用不同的反馈来演化它们的流程和操作员：Writer的查询独立源保真度和覆盖率，以及Reader在证据定位和利用中的QA失败。实验支持这种分离，以超越开发查询的泛化，我们的演化策略将平均准确率提高了7.2%，超过了未演化的工具。与原始视频相比，平均减少了99.86%的存储空间，Video-EMem在三个长视频QA基准测试中，相对于2048帧的直接输入，将Qwen3-VL-30B的平均准确率提高了2.6%。使用与最先进的代理方法相同的o3答案模型，它将平均准确率提高了2.5%，同时降低了每个查询的延迟。

提交历史

来自：Kerui Chen [查看电子邮件]
[v1] 周六，17 Oct 2026 07:58:29 UTC (1,879 KB)