rStar2-Agent

该文档介绍并详细阐述了rStar2-Agent，一个由微软研究院开发的14B数学推理模型。该模型通过智能强化学习（Agentic Reinforcement Learning）进行训练，以超越传统长思维链（Long CoT）方法的性能。它在处理复杂问题时展现出先进的认知行为，例如在调用Python编码工具前进行仔细思考，并能根据代码执行反馈自主探索、验证和完善中间步骤。文档强调了rStar2-Agent的三个核心创新：高效的RL基础设施、GRPO-RoC代理RL算法，以及高效的代理训练方案。最终，rStar2-Agent-14B模型在数学推理方面取得了前沿水平的准确率，在AIME24测试中达到80.6%，并且在代码使用效率和泛化能力方面表现出色，其训练过程也具备极高的效率。

Source: <arxiv.org>