西湖/浙大/阿里联合设计VibeTraining-Bench基准，SWE-bench Verified性能提升32.9%至53.7%

查看PDF HTML（实验性）

摘要：递归自我改进（RSI）要求代理诊断系统瓶颈并协调训练和推理过程中的改进。我们将代理联合优化训练数据、训练器和推理工具的能力称为跨组件协同设计。我们介绍了VibeTraining-Bench，这是一个评估跨终端操作、软件工程、多轮工具使用和数学推理等任务的基准。在每个任务中，研究代理从一个在固定资源预算下的相同初始代理系统开始。在验证反馈的指导下，他们迭代地改进数据、训练器和推理工具，然后选择并提交一个最终代理系统以在测试集上进行评估。为了防止奖励黑客行为，我们实施了三项安全措施：测试数据隔离、独立的研究和评分容器以及研究代理的网络限制。我们的评估结果表明，前沿研究代理显著提高了目标代理系统的性能。例如，在SWE-bench Verified上，GPT-6-Astra将目标代理系统的性能从32.9%提高到53.7%，与人类开发的指令模型的55.4%相当。然而，仍有改进他们协同设计和迭代改进数据、训练器和工具以实现累积性能提升能力的空间。我们希望VibeTraining-Bench能够作为一个统一的平台，推动RSI的发展，深化我们对代理系统跨组件优化的理解。代码和数据可在此https URL获取。

投稿历史

来自：Ruotian Peng [查看电子邮件]
[v1] 周一，19 Oct 2026 13:10:54 UTC（1,068 KB)