Harness 进化提升大型语言模型表现：Berkeley/Stanford 实验结果

查看PDF HTML（实验性）

摘要：提高长期视角的LLM智能体意味着要进化围绕冻结模型的外部程序或训练其权重。我们首先让一个自我进化的外部程序使系统变得更强大，然后结合基础和训练权重，使用交叉种子和进化后的外部程序来学习哪些增益是训练模型保留的，哪些还需要在运行时进行。我们表明，可以通过智能体的失败组成来读取正确的杠杆：通过第一个触发的信号对失败的轨迹进行标记，可以将过程失败（阻塞调用、循环、耗尽步骤预算）与内容失败（交付的方案不佳）区分开来。外部程序的进化修复了前者，其灌输的行为可以训练到权重中，而内容失败正是权重训练的目的。在DeepPlanning上，一个自我进化的外部程序循环将Qwen3.5-4B的保留分数从0.16提高到0.30，将Qwen3.5-9B的保留分数从0.32提高到0.44；对于4B，保留交付率从55%提高到90%，而内容失败则留给权重。在进化后的外部程序轨迹上训练的LoRA适配器将增益内化：在原始外部程序下，它们在保留任务上增加了+0.13，对于两种大小；在4B上，它们与外部程序一起叠加，将保留分数翻倍，而在9B上，适配器本身就与完整进化线匹配，将内容失败从四分之一减少到二十分之一。在答案随机排列的轨迹上训练的安慰剂适配器低于基础模型。循环转移到WebArena-Lite（在117个未见任务上增加了+0.09），这里的增益存在于模型所看到的内容中，适配器不会增加。结果是应用了两次的诊断-干预规则：通过读取失败组成来选择使用外部程序还是权重，然后读取接受的编辑更改了什么来决定要训练哪些增益。分数是针对新鲜锚点的四轮运行平均值，除非特别标注，否则均为同夜，涵盖六个家族和两个基准的八个模型。

投稿历史

来自：Yuan Tian [查看电子邮件]
[v1] 周四，8 Oct 2026 10:33:29 UTC (292 KB)