双脑交互要独立协调脑：港中文/Tencent Jarvis，τ-Voice 29→192/278、Pass1 69%

Edge-TTS Studio Audio·🎙 Voice: Yunxi (Studio Anchor)

Free for all listeners

Click to synthesize audio

00:00

AI Overview

View PDF HTML (experimental) Abstract: Interactive models increasingly hand complex reasoning and tool use to a slow brain in the background, leaving a realtime front model free to sustain full-duplex dialogue. Yet the user may refine, cancel or replace a request while its...

Curator's Note

原文提出了Jarvis协调框架，通过协调前后端模型，显著提升了双脑交互任务的成功率，读者可以了解其工作原理和效果。

Primary Source

Academic Paper·arXiv:2610.23804

港中文/Tencent Jarvis (arXiv:2610.23804)

“View PDF HTML (experimental) Abstract: Interactive models increasingly hand complex reasoning and tool use to a slow brain in the background”

Body · Chinese Translation

查看PDF HTML（实验性）

摘要：交互式模型越来越多地将复杂的推理和工具使用交给后台的慢速大脑，让实时前向模型自由地维持全双工对话。然而，用户可能在任务运行期间细化、取消或替换请求，所以之前有意义的计划或结果现在变得过时。因此，每个新的话语都必须与正在进行的任务相对照，但前向模型只跟随对话，而后端只看到自己的任务。协调需要一个自己的大脑，一个能看到两者的。我们介绍了Jarvis，一个协调 harness，其中模型进行判断，代码执行。其类型化决策模型JEV，针对每个回合读取实时任务，并从版本化的任务记录中挑选操作。代码在应用之前检查每个选择与当前状态的一致性，因此没有决策可以作用于用户已替换的任务版本。Jarvis还重新检查执行前的计划和说话前的结果，并且只有在用户完全听到答案后，才将其视为已交付。我们构建了这种设计的两个实例。Jarvis-Audio在三个全双工语音模型上运行不变。Jarvis-Omni增加了视觉功能，并在播放前后重新检查答案背后的证据，因为场景可以在没有人说话时发生变化。在保持前向模型和后端不变的情况下，用Jarvis替换Qwen Audio Agent将tau-Voice任务成功率提高了六倍以上，从278个任务中的29个增加到192个，并且这些收益在所有基准和前向模型上都得到了保持。与已发布的系统相比，Jarvis-Audio在Full-Duplex-Bench v3上达到了69%的Pass1，与具有开放9B前模型的GPT-Realtime的60%相比。这些结果表明，两个大脑的协调方式与它们有多强大一样重要。

主题：	声音（cs.SD）
引用：	arXiv:2610.23804 [cs.SD]
	（或 arXiv:2610.23804v1 [cs.SD]为此版本）
	https://doi.org/10.48550/arXiv.2610.23804 arXiv-issued DOI via DataCite

投稿历史

来自：Yuxiang Wang [查看电子邮件]
[v1] 周五，16 Oct 2026 17:29:10 UTC（2,109 KB)