EP7 AI“学霸”是怎样炼成的：监督微调SFT与强化学习RL，谁让AI更聪明？

本文件是一篇提交至arXiv预印本服务器的计算机科学论文，探讨了大型基础模型后训练中两种常用技术——监督微调 (SFT) 和强化学习 (RL) 的差异。该研究比较了SFT和RL在模型泛化能力和记忆能力方面的表现，重点关注文本和视觉变体。为评估模型泛化能力，研究者引入了“GeneralPoints”纸牌游戏和“V-IRL”导航环境。结果表明，RL，特别是当使用基于结果的奖励进行训练时，在文本和视觉变体上均表现出更强的泛化能力，而SFT则倾向于记忆训练数据。尽管RL在泛化方面表现出色，SFT仍被认为是RL有效训练的关键，因为它能稳定模型的输出格式，从而使RL实现性能提升。