长程 RLVR 别把稀疏奖励均摊：Meta/Greg Durrett Self-Credit，BrowseComp-Plus +37.0/+36.2 vs base
长程 RLVR 别把稀疏奖励均摊：Meta/Greg Durrett Self-Credit，BrowseComp-Plus +37.0/+36.2 vs base
View PDF HTML (experimental) Abstract: LLM agents are commonly trained with RLVR, but the sparse nature of typical RLVR rewards makes credit assignment challenging, especially for long-horizon tasks. We propose Self-Credit, an end-to-end agentic RL method that creates dense super
Self-Credit 方法通过自生成的信用分配和组内缩放，从稀疏的奖励中创建密集的监督信号，在多个基准测试中取得了显著的性能提升。
长程 RLVR 别把稀疏奖励均摊 (arXiv:2610.28388)
“View PDF HTML (experimental) Abstract: LLM agents are commonly trained with RLVR, but the sparse nature of typical RLVR rewards makes credit”
摘要：LLM代理通常使用RLVR进行训练，但典型RLVR奖励的稀疏性使得信用分配具有挑战性，尤其是在长期任务中。我们提出了Self-Credit，这是一种端到端的代理RL方法，它通过使用通过组内缩放生成的自我生成的信用分配，从稀疏的结果奖励中创建密集的监督信号。Self-Credit基于基于组的RL，包含三个组件。首先，在其滚动过程中，策略模型生成摘要，其中包含对包含关键证据的早期回合的引用，这些摘要作为自我生成的信用。其次，我们通过组内缩放细化这个由模型生成的信用，这比较了同一提示下成功和失败的滚动中的引用动作。这种方法使用组级的一致性和不一致性来消除不应得的信用，并进一步强调分配给关键动作的信用。第三，优势重新加权使用缩放后的信用权重来更新引用回合的优势。在BrowseComp-Plus上，Self-Credit在Qwen3 8B和32B上分别比基线模型提高了37.0和36.2分，并且分别比最强的代理RL基线模型高出8.5和5.6分。Self-Credit在GAIA上比最强的基线模型提高了4.9分，在xBench-DeepSearch上提高了4.7分。分析表明，自我生成的信用为选择关键动作提供了有用的信号，并且组内缩放，尤其是在失败的滚动中，对模型规模很重要。
| 主题： | 机器学习（cs.LG） |
| 引用方式： | arXiv:2610.28388 [cs.LG] |
| (或 arXiv:2610.28388v1 [cs.LG] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.28388 arXiv-issued DOI via DataCite (待注册) |
投稿历史
来自：Fangcong Yin [查看电子邮件]
[v1]
周二，20 Oct 2026 15:38:21 UTC (423 KB)
Source: Agent Control Flash News · arxiv.org