Agent Control Flash News·· 4h agoFeaturedAI Score65
别另训 critic：Apple LVRL，AppWorld 最高 +13.6 pp、BabyAI 0→75.0%
别另训 critic：Apple LVRL，AppWorld 最高 +13.6 pp、BabyAI 0→75.0%
Edge-TTS Studio Audio
Free for all listeners
Click to synthesize audio
00:00
00:00
AI Overview
View PDF HTML (experimental) Abstract: Reinforcement learning (RL) for large language model (LLM) agents remains challenging in long-horizon tasks with sparse outcome rewards, where assigning credit to individual actions is difficult. Methods such as GRPO assign the same...
Curator's Note
LVRL 方法在多个基准测试中优于现有方法，对 LLM 代理的强化学习具有潜在影响。
Primary Source
Academic Paper·arXiv:2610.15840
Apple LVRL (arXiv:2610.15840)
“View PDF HTML (experimental) Abstract: Reinforcement learning (RL) for large language model (LLM) agents remains challenging in long-horizon”
Body · Chinese Translation
摘要：对于大型语言模型（LLM）代理在具有稀疏结果奖励的长周期任务中，强化学习（RL）仍然具有挑战性，因为难以为单个动作分配信用。GRPO 等方法将相同的轨迹级优势分配给所有动作，而基于评论员的方法需要学习一个额外的价值函数，这可能代价高昂且不稳定。我们引入了 LLM 价值函数 RL（LVRL），它使用 LLM 的预训练知识和上下文学习能力来估计策略感知状态价值，而无需微调单独的评论员。LVRL 将价值模型条件化在组上下文中，并使用初始和终止状态上的已知值校准其预测，从而从估计的价值差异中进行步骤级信用分配。我们进一步将这一想法扩展到通过在线策略蒸馏（OPD）从专家策略中学习，引入了 LLM 价值函数 OPD（LVOPD），它将教师监督集中在与估计价值下降相关的动作上。我们在不同的代理基准上评估了我们的方法：AppWorld、BabyAI 和 SWE-bench Verified。在策略规模（4B 到 32B）上，LVRL 一致且显著优于 GRPO 和 PPO。在 AppWorld 和 SWE-bench Verified 上，LVRL 相对于 GRPO 的绝对改进达到 13.6 和 8.6 个百分点。值得注意的是，在需要扩展探索的任务（如 BabyAI）中，LVRL 从完全失败到 75.0% 的成功率缩小了差距。此外，LVOPD 在 AppWorld 上相对于标准蒸馏基线产生了一致的改进。最后，蒙特卡洛分析证实，我们的冻结评论员准确地识别语义陷阱和恢复，证明 LVRL 从稀疏的终端结果中提取了稳健的策略感知步骤级信用。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.15840 [cs.LG] [cs.LG] |
| （或 arXiv:2610.15840v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.15840 arXiv-issued DOI via DataCite |
Submission history
From: Kaijie Zhu [查看电子邮件]
[v1]
Sun, 11 Oct 2026 18:46:50 UTC (14,543 KB)
Source: Agent Control Flash News · arxiv.org