竞争学习在混合架构中的研究：GPT 模型性能提升

研究揭示了混合语言模型中循环层和注意力层之间的竞争学习现象，并提出了一种分阶段训练程序，有效提升了检索和整体性能。该方法在 1B 参数规模的模型上显示出显著的性能提升，包括语言建模损失、常识推理以及多种检索相关任务。