跳到正文
原文
Agent Control Flash News·· 2 小时前精选AI 评分60

Microsoft Video-EMem:长视频记忆模型进化,性能提升7.2%

长视频记忆要一次写入多次查询:Microsoft Video-EMem,进化 +7.2%、存储约 −99.86%

Edge-TTS 广播级有声
全员无门槛畅听
点击合成广播级音频
00:00
00:00
AI 导读

可复用记忆必须服务「构建时未知」的问题,否则 agentic 搜索会每查询重跑昂贵视频处理。

推荐理由

该研究提出了Video-EMem,一种可进化的视频记忆模型,在长视频问答任务上取得了显著提升,对视频处理和记忆研究有重要意义。

一手信源
学术论文·arXiv:2610.24537

Microsoft Video-EMem (arXiv:2610.24537)

“View PDF HTML (experimental) Abstract: Long videos often exceed the context capacity of multimodal large language models (MLLMs), while agen”

正文 · AI 翻译

查看PDF HTML(实验性)

摘要:长视频往往超过了多模态大型语言模型(MLLMs)的上下文容量,而代理搜索则重复了每次查询都昂贵的视频处理和定位。可重用内存可以分摊这种成本,但必须保留在构建过程中未知的问题信息。我们提出了Video-EMem,这是一种基于时间锚定感知观察的可演化视频内存利用工具。这种表示结合了紧凑的自由格式文本和稀疏图像,以保留语义内容和互补的视觉细节,支持跨时间尺度的导航,而不需要固定的语义模式。Writer通过整合重叠的多尺度观察来编码每个视频一次,而Reader则仅从结果内存中检索和组织证据。在底层模型冻结的情况下,我们使用不同的反馈来演化它们的流程和操作员:Writer的查询独立源保真度和覆盖率,以及Reader在证据定位和利用中的QA失败。实验支持这种分离,以超越开发查询的泛化,我们的演化策略将平均准确率提高了7.2%,超过了未演化的工具。与原始视频相比,平均减少了99.86%的存储空间,Video-EMem在三个长视频QA基准测试中,相对于2048帧的直接输入,将Qwen3-VL-30B的平均准确率提高了2.6%。使用与最先进的代理方法相同的o3答案模型,它将平均准确率提高了2.5%,同时降低了每个查询的延迟。
主题: 计算机视觉和模式识别(cs.CV);机器学习(cs.LG)
引用方式: arXiv:2610.24537 [cs.CV]
  (或 arXiv:2610.24537v1 [cs.CV] 版本)
  https://doi.org/10.48550/arXiv.2610.24537

arXiv-issued DOI via DataCite

提交历史

来自:Kerui Chen [查看电子邮件]
[v1] 周六,17 Oct 2026 07:58:29 UTC (1,879 KB)

来源:Agent Control Flash News · arxiv.org

关联产品与深度拆解

原创·站长/Quantara 团队·约 3 分钟深度解析

Cursor Agent 架构全景拆解:从影子工作区到多文件推演引擎

全面剖析 Cursor 在 Agent 模式下的底层技术实现,解析影子分支隔离、LSP 上下文剪枝以及预测性补全的核心架构细节与工程实践经验。

深入理解底层架构与行业变量阅读拆解 →
精选·Vercel Changelog·约 1 分钟深度解析

Vercel v0 推出全新多 Agent 协作画布与实时全栈部署预览

动态速评:v0 正在从单一组件生成器演进为全栈应用搭建协作台,尤其是与 Neon/Postgres 的直连极大降低了全栈原型验证成本。

深入理解底层架构与行业变量阅读拆解 →