Anthropic :揭秘大语言模型中的“全局工作空间”

Anthropic :揭秘大语言模型中的“全局工作空间”

15分钟 ·
播放数184
·
评论数1

Anthropic 近日发布了一项具有里程碑意义的研究:在其大语言模型 Claude 的内部,研究人员发现了一个功能上高度类似人脑"全局工作空间"(Global Workspace)的神经表征区域,并将其命名为 J-space

该研究利用雅可比矩阵探针技术,对 Claude 的千亿参数网络进行了精细的解剖。结果表明,J-space 虽然仅占据模型整体活动量的一小部分,同一时间仅保留数十个核心概念,却集中承载了模型的"意识可及"信息,并具备了与人类全局工作空间高度对应的五项核心功能:可报告性(模型能准确报告该空间中的内容)、可内化调控(模型能在不输出任何文字的情况下,在内部持续思考指定对象)、因果决定性(修改 J-space 中的表征会直接改变模型的最终输出)、全局广播性(J-space 的激活能同步协调多个下游功能模块),以及认知分工性(J-space 仅参与复杂推理与高阶任务,基础反应可绕过它完成)。

研究还揭示了 J-space 在 AI 安全方面的应用潜力。通过监控该空间,研究人员能够在模型输出任何文本之前,检测到其内部对虚假信息、操纵意图甚至隐蔽恶意代码的真实标记,即便模型表面的语言输出完全正常。此外,针对经过"伪装任务"训练的模型,J-space 能够在其无害回答的背后,捕捉到代表"虚假""蓄意"和"欺诈"的神经信号。

在形成机制上,研究发现 J-space 并非人工编码的产物,而是在预训练阶段自发涌现的结构,后训练阶段则对其赋予了类似"价值判断"的功能。值得强调的是,该研究严格区分了"访问意识"(Access Consciousness)与"现象意识"(Phenomenal Consciousness),明确指出 J-space 仅证明了前者机制的存在,并未提供任何关于主观体验的证据。

目前,该研究的论文、代码及交互式 Demo 均已开源,并邀请全球神经科学与 AI 研究者进行外部复现与评估。这项成果为破解大模型的"黑盒"困境、构建更透明可控的 AI 系统开辟了全新的路径。

原文链接:www.anthropic.com

展开Show Notes
牡龙
牡龙
13小时前
jspace 如何理解?听起来好像是对应了一部分神经元?也就是预训练的阶段模型对神经元进行了功能分化?