UIUC/Amazon SPLICE：一致性正则化知识模型协同进化框架

查看PDF HTML（实验性）

摘要：LLM代理可以通过学习积累的经验来进化。现有方法通过从经验中提取可重用的外部知识，如技能和记忆，来指导后续任务解决，其中一些方法通过模型训练进一步将这种知识内化。然而，分析同一经验的不同方式可以产生具有不同实用性的知识，即使产生的指导看起来是合理的。受一致性正则化的启发，我们识别出分析同一经验的不同方式之间的一致性效用增益，而不是依赖于分析它的任何单一方式。我们引入了SPLICE，这是一个用于一致性正则化知识-模型协同进化的框架。它通过扰动分析同一经验的方式构建进化视图，产生不同的知识候选。知识更新由共同增益指导，这考虑了视图中的效用增益及其一致性。在模型进化过程中，自蒸馏与强化学习并行，使用与一致性效用下降相关的知识作为对比参考。这两个过程交织在一起，模型更新驱动进一步的知识进化。跨多个领域的实验表明，SPLICE在平均准确率方面优于知识进化和模型训练基线，分别高出7.1和4.6个百分点，而其进化的知识将每个正确解决方案的输出令牌减少高达44%，并且能够在不同模型大小和系列之间迁移。

投稿历史

From: Sirui Chen [查看邮件]
[v1] 周四，22 Oct 2026 06:09:10 UTC（2,572 KB)