Apple LVRL：在 AppWorld 和 BabyAI 上实现显著性能提升的 LLM 价值函数强化学习

查看PDF HTML（实验性）

摘要：对于大型语言模型（LLM）代理在具有稀疏结果奖励的长周期任务中，强化学习（RL）仍然具有挑战性，因为难以为单个动作分配信用。GRPO 等方法将相同的轨迹级优势分配给所有动作，而基于评论员的方法需要学习一个额外的价值函数，这可能代价高昂且不稳定。我们引入了 LLM 价值函数 RL（LVRL），它使用 LLM 的预训练知识和上下文学习能力来估计策略感知状态价值，而无需微调单独的评论员。LVRL 将价值模型条件化在组上下文中，并使用初始和终止状态上的已知值校准其预测，从而从估计的价值差异中进行步骤级信用分配。我们进一步将这一想法扩展到通过在线策略蒸馏（OPD）从专家策略中学习，引入了 LLM 价值函数 OPD（LVOPD），它将教师监督集中在与估计价值下降相关的动作上。我们在不同的代理基准上评估了我们的方法：AppWorld、BabyAI 和 SWE-bench Verified。在策略规模（4B 到 32B）上，LVRL 一致且显著优于 GRPO 和 PPO。在 AppWorld 和 SWE-bench Verified 上，LVRL 相对于 GRPO 的绝对改进达到 13.6 和 8.6 个百分点。值得注意的是，在需要扩展探索的任务（如 BabyAI）中，LVRL 从完全失败到 75.0% 的成功率缩小了差距。此外，LVOPD 在 AppWorld 上相对于标准蒸馏基线产生了一致的改进。最后，蒙特卡洛分析证实，我们的冻结评论员准确地识别语义陷阱和恢复，证明 LVRL 从稀疏的终端结果中提取了稳健的策略感知步骤级信用。

Submission history

From: Kaijie Zhu [查看电子邮件]
[v1] Sun, 11 Oct 2026 18:46:50 UTC (14,543 KB)