4
0📜 节目概要：
本期节目，我们深入剖析了由蚂蚁集团Ling Team发布的、号称首个开源的万亿参数级“思考模型”——Ring 1T。这项工作不仅在参数规模上达到了新的里程碑，更重要的是，它提供了一份完整的、可复现的工程蓝图，系统性地解决了在万亿参数规模下，使用强化学习（RL）进行复杂推理训练的三大核心难题：训练不稳定性、长序列生成效率低下、以及底层系统瓶颈。我们将详细拆解其三大技术支柱：通过“梯度质检”稳定训练的IcePop算法，利用“动态分片”极大提升效率的C3PO++机制，以及专为大规模RL打造的“训练推理一体化”底层框架ASystem。最终，我们将看到这套“算法+系统”协同设计的强大威力，如何将一个模型从“知识容器”锻造成一个真正的“推理引擎”，并在IMO、CodeForces等顶级竞赛中取得了惊人的成果。
📚 参考论文：
标题：Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model
作者：Ling Team, Inclusion AI (Ant Group)
链接：2510.18855
📝 节目重点：
01:19 万亿级RL训练的三大“拦路虎”：为什么说训练与推理的“不一致性”、长思考链的“低效率”、以及系统工程的“瓶颈”，是之前开源模型难以逾越的大山？
01:55 IcePop的“梯度质检”艺术：如何通过一个巧妙的“双引擎概率校验”机制，从根源上解决因底层实现差异导致的训练崩溃问题？
02:50 从“毫厘之差”到“千里之谬”：为什么在万亿级MoE模型和长推理链条上，微小的计算差异会被指数级放大，成为一个致命的稳定性杀手？
04:37 激进但有效的“丢弃”哲学：IcePop为何选择直接“丢弃”失真的梯度，而不是像传统方法那样进行裁剪（clipping）？这背后有着怎样的设计权衡（trade off）？
08:05 打破效率瓶颈的C3PO++：如何借鉴“超市结账”的智慧，通过“token预算”和“动态分片rollout”机制，将长任务的训练效率提升2.5倍？
11:00 “混合策略”的代价与权衡：C3PO++让一个任务的执行跨越了多个模型版本，这种引入的“离策略（off-policy）”偏差是如何被接受和控制的？
13:11 万亿模型的坚实底座——ASystem：为什么通用训练框架无法满足极限RL任务的需求？这个专为“训练推理一体化”设计的系统，究竟强在哪里？
14:15 从分钟级到10秒内：揭秘高性能权重交换接口AState，如何通过“零冗余对等网络”，革命性地解决了大规模分布式训练中的权重同步难题。
17:46 “算法与系统协同设计”：为什么说Ring 1T的成功，标志着前沿模型开发进入了一个新范式——算法创新与系统工程必须深度绑定，协同进化。
18:02 “学知识-学解题-学做人”：拆解Ring 1T从“理论基础”到“实战刷题”再到“通用对齐”的三步走训练流程（Long CoT SFT → Reasoning RL → General RL）。
20:26 纯自然语言推理的巅峰：为何说Ring 1T在IMO竞赛中，不依赖代码解释器取得银牌水平，是其推理能力最恐怖、最关键的证明？
21:40 开源的“基石”：探讨Ring 1T为整个社区提供的最大价值——它不只是一个能打的模型，更是一套可复现的、将大模型锻造成“推理引擎”的方法论与工具链。
