Self-HPO交替自进化提升编码智能体性能

查看PDF HTML（实验性）

摘要：大型语言模型（LLM）代理在编码任务中显示出有希望的潜力，其性能由策略模型和环境交互的调解器（即harness）共同决定。事实上，harness和策略相互强化并共同进化，仅当其中一个组件次优时——为某个检查点调优的harness可能不会针对更新策略的故障模式，而策略学习仍然局限于由固定harness诱发的轨迹。鉴于这一点，我们提出了Self-HPO，这是一个用于编码代理的递归自我改进框架，它交替进行harness和策略优化，使用演化的策略作为其自身的harness提议者。具体来说，在每一轮中，当前策略首先分析其自身的失败情况并提议新的harness候选者（H-step）。然后，策略在所选harness下通过强化学习（RL）进行更新（P-step），并在训练期间确定的困难任务形成下一个harness搜索集，使harness优化始终针对策略的演化的故障模式。在三个编码基准测试中，Self-HPO始终优于仅harness和仅策略的基线，将Qwen3.5-35B-A3B的平均解决率从57.8%提高到64.8%，并且这些收益可以推广到分布外的设置。进一步的分析表明，即使与它们的基线版本配对，优化后的组件也能保持收益，而它们的联合收益超过了各自收益的总和。Self-HPO还提高了可靠性（Pass@1）并扩展了基线代理的能力前沿（Pass@k）。此外，我们还表明，使用更强的外部模型（例如，Opus 4.8）作为harness提议者，相同的框架可以获得进一步的性能提升。

投稿历史

来自：Zhepei Wei [查看电子邮件]
[v1] 周五，16 Oct 2026 01:07:52 UTC（4,495 KB)