Coconut

这项研究引入了一种名为 Coconut（连续思想链）的新范式，旨在改进大型语言模型 (LLM) 的推理能力。当前 LLM 通常通过语言空间中的“思想链”（CoT）进行推理，作者认为这种方式效率不高，因为语言表达中的许多标记对实际推理作用不大。相反，Coconut 允许 LLM 在连续潜在空间中进行推理，直接将模型的最后隐藏状态（即“连续思想”）作为下一次输入的嵌入，而非将其解码为词元。实验表明，这种方法在逻辑推理任务中优于传统的 CoT，并且能够促成类似广度优先搜索（BFS）的高级推理模式，这使得模型能够同时编码多个可能的推理步骤，并在规划过程中更有效地消除错误路径。研究强调了潜在推理的潜力及其对未来 LLM 研究的启示。

Source: <arxiv.org>