2
0今天的这篇的主题是：Verbalizable Representations Form a Global Workspace in Language Models
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
在人类大脑处理的所有信息中，只有一小部分是能被意识到的，即能够用于口头报告、深思熟虑的控制以及灵活推理的信息。在本文中，我们提出证据表明，大型语言模型中也出现了类似的内部功能区分。利用一种全新的可解释性技术——雅可比透镜（Jacobian lens），我们识别出了模型在处理过程中的任意节点准备表达出的表征。这些表征被我们统称为 J 空间（J-space），它们展现出了全局工作空间（global workspace）所特有的功能属性：其内容可以被报告、被故意召唤和保持、用于承担隐蔽推理的中间步骤，并作为参数传递给任意下游计算；而文本解析和例行推理等自动处理过程则在无需它们参与的情况下 proceed（进行）。J 空间还具备全局工作空间理论与意识接入（conscious access）相联系的结构特征：它仅在中间层级带中承载连贯的内容，一次可容纳数十个概念数量级的知识，并且相比其他表征，它被模型的权重更为广泛地广播。这些特性使其成为了观察模型未说出的思考过程的实用窗口。在对齐审计中，它揭示了模型从未在其最终输出中呈现出的策略性深思、评估意识，以及训练所引入的不对齐倾向。我们发现，后训练（post-training）将“助手”（Assistant）的视角植入了该工作空间中，据此我们引入了逆事实反思训练（counterfactual reflection training），该方法仅通过训练模型在被中断并要求反思时会说些什么，就提升了其行为表现。这些结果表明，语言模型维持着一小部分具有意识接入某些功能特征的特权表征，而解码这些表征能够为揭示其持续进行的认知过程提供新的视角。
原文链接：arxiv.org
