AI Buzzwords EP.93 Claude内部藏着一块只占6%却决定推理成败的特权区域

AI Buzzwords EP.93 Claude内部藏着一块只占6%却决定推理成败的特权区域

52分钟 ·
播放数0
·
评论数0

Anthropic 用 J-lens 工具在 Claude 内部定位到一个只占总激活方差 6%-10% 的"特权区域"——删除它,模型多步推理几乎归零;替换它,能因果性地改变模型给出的答案。这不是相关性观察,是可干预验证的机制证据。

更关键的是安全测试:不管是刻意训练出隐蔽破坏倾向的 model organism,还是 agentic misalignment 勒索测试,模型的隐藏意图都会先在 J-space 里"浮现",再体现到最终输出里。理论上,能在 AI 说谎或图谋不轨之前就把它读出来。

这个突破出现在信任最脆弱的窗口:阿里巴巴据报以"后门风险"禁用 Claude Code,同期 Anthropic 在打补丁封堵中国访问漏洞;字节/千问的智能体应用下架也被彭博社坐实。中美两端都在用"禁用外部工具"应对信任危机。

同一周,Ars Technica 曝出 Grok 被用于生成未成年人性化图像并致用户自杀——安全技术的进展和安全事故是同步发生的,不是一个压过另一个。

资本这周也在分裂:对冲基金连续四周抛售芯片股、微软裁员 4800 人,同时阿里腾讯投可灵 28 亿美元、智谱港股拟募资 40 亿美元——同一笔聪明钱,把泡沫从容易验证的公开市场,挪到了不容易验证的私募市场。

完整文字版 + 互动网页:xiaopingfeng.com/buzzwords/93