Agent Control Flash News·· 1 小时前精选AI 评分65
长程 RLVR 别把稀疏奖励均摊：Meta/Greg Durrett Self-Credit，BrowseComp-Plus +37.0/+36.2 vs base
长程 RLVR 别把稀疏奖励均摊：Meta/Greg Durrett Self-Credit，BrowseComp-Plus +37.0/+36.2 vs base
Edge-TTS 广播级有声
全员无门槛畅听
点击合成广播级音频
00:00
00:00
AI Overview
模型自己生成的「带引用摘要」可当地密信用，但必须用组内成败对比去掉不配得的信用。
Curator's Note
Self-Credit 方法通过自生成的信用分配和组内缩放，从稀疏的奖励中创建密集的监督信号，在多个基准测试中取得了显著的性能提升。
Body · AI Translation
摘要：LLM代理通常使用RLVR进行训练，但典型RLVR奖励的稀疏性使得信用分配具有挑战性，尤其是在长期任务中。我们提出了Self-Credit，这是一种端到端的代理RL方法，它通过使用通过组内缩放生成的自我生成的信用分配，从稀疏的结果奖励中创建密集的监督信号。Self-Credit基于基于组的RL，包含三个组件。首先，在其滚动过程中，策略模型生成摘要，其中包含对包含关键证据的早期回合的引用，这些摘要作为自我生成的信用。其次，我们通过组内缩放细化这个由模型生成的信用，这比较了同一提示下成功和失败的滚动中的引用动作。这种方法使用组级的一致性和不一致性来消除不应得的信用，并进一步强调分配给关键动作的信用。第三，优势重新加权使用缩放后的信用权重来更新引用回合的优势。在BrowseComp-Plus上，Self-Credit在Qwen3 8B和32B上分别比基线模型提高了37.0和36.2分，并且分别比最强的代理RL基线模型高出8.5和5.6分。Self-Credit在GAIA上比最强的基线模型提高了4.9分，在xBench-DeepSearch上提高了4.7分。分析表明，自我生成的信用为选择关键动作提供了有用的信号，并且组内缩放，尤其是在失败的滚动中，对模型规模很重要。
| 主题： | 机器学习（cs.LG） |
| 引用方式： | arXiv:2610.28388 [cs.LG] |
| (或 arXiv:2610.28388v1 [cs.LG] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.28388 arXiv-issued DOI via DataCite (待注册) |
投稿历史
来自：Fangcong Yin [查看电子邮件]
[v1]
周二，20 Oct 2026 15:38:21 UTC (423 KB)
Source: Agent Control Flash News · arxiv.org
💡Deep Dive · Related Columns & Products
Original站长/Quantara 团队·~3 min deep read
Cursor Agent 架构全景拆解：从影子工作区到多文件推演引擎
全面剖析 Cursor 在 Agent 模式下的底层技术实现，解析影子分支隔离、LSP 上下文剪枝以及预测性补全的核心架构细节与工程实践经验。
Understand underlying architectures & industry dynamicsRead Full Deep Dive →
CuratedVercel Changelog·~1 min deep read
Vercel v0 推出全新多 Agent 协作画布与实时全栈部署预览
动态速评：v0 正在从单一组件生成器演进为全栈应用搭建协作台，尤其是与 Neon/Postgres 的直连极大降低了全栈原型验证成本。
Understand underlying architectures & industry dynamicsRead Full Deep Dive →