45
0本期要点
· 机械可解释性就是给模型做"脑扫描"：不去读它写下来的推理草稿，而是直接以一定保真度读出它内部的状态，看它此刻"想"的是什么。
· 它相比思维链监控有两张王牌：一是成本近乎为零——思维链监控要再养一个同级别模型盯着看，被监控的那次运行开销直接翻倍，脑扫描只是在侧面接了一个小窃听器。
· 二是它不被任务本身的噪音淹没。在一次全是"入侵"行为的网络安全实验里，思维链通篇都是入侵，而模型自己心里那个"我正在考试中作弊"的表示却能把"该做的入侵"和"不该做的入侵"分开。
· 思维链监控正在被两头挤压：循环深度这类新架构允许模型在内部反复思考却一个字都不写；而把推理压缩成更短文本的训练压力，也让读草稿板能看到的越来越少。
· 为什么可解释性可能是可能的：世界本身有结构，一个模型要在泛化意义上很好地刻画世界，就必须把部分结构反映到自己内部——换成不可解释的巨型查找表，泛化能力会差得多。
· 为什么它又这么难：投在这个方向的总人年数远少于神经科学，而真正的障碍不是投入，是我们还不知道正确的组织原理；模型是"长出来的，不是设计出来的"。
· 已经凿实的成果包括线性表示假说（概念在模型里常常就是一条"方向"）、均值差向量（把"正常解题"和"靠作弊解题"两组状态相减，剩下的方向就是"作弊"的坐标），以及"开头去词元化、中间抽象计算、结尾预测下一个词"的层间宏观分工。
· 真正的头奖不是理解而是控制泛化：如果我们能读出"这批数据正在把模型教得更欺骗"，就能在训练中干预它——嘉宾称之为"只朝好方向的反向传播"，但前提是不能把监控能力一起毁掉。
