ReAPO 提升语言模型推理性能

2026年10月23日，Columbia、Yale和UT的研究团队提出了ReAPO（Recursive Adversarial Policy Optimization），这是一种改进语言模型推理性能的方法。该方法从随机最短路视角改GRPO（Gradient-based Random Policy Optimization）为ReAPO，将失败轨迹加入生成过程，并强化成功重试而不奖励先前失败。在Qwen3-0.6B模型上，ReAPO在达到GRPO@2× group / 2× steps峰值准确率时，分别减少了39%和31%的生成token。然而，该方法仅适用于训练线，不适用于T5 EMPO。早先报道中，独立随机rollout或朴素依赖采样是现有错处，而最新报道指出，将失败尝试也当正信用可以强化错误策略。

Generated by AI from coverage · Updated 2 小时前

还没有足够的连续观测数据，暂不绘制趋势。