3
0该论文主要讨论大型语言模型（LLM）中的“潜在推理”，这是一种通过模型连续的内部状态进行多步推理的方法。文章概述了潜在推理与传统“思维链”（CoT）推理的区别，指出前者能突破语言表达的限制，提供更丰富的推理能力。文中详细阐述了两种主要潜在推理范式：垂直循环（基于激活）和水平循环（基于隐藏状态），并探讨了通过架构设计或训练策略诱导循环的方法。此外，资料还深入分析了Transformer模型层级在潜在CoT中的作用，认为不同层级承担着特定的推理功能，并展望了**通过扩散模型实现“无限深度推理”**的前沿方向。
Source: <arxiv.org>
