AI 不是黑箱，99% 神经元清晰可见​ | AI可解释性 | 神经网络 | 稀疏自编码器

AI 可解释性领域流传十年的"猫车神经元"经典案例，被当年亲手把它写进里程碑论文《Zoom In》的作者尼克·卡马拉塔（Nick Cammarata）亲自推翻。他在 Goodfire 发布 65 分钟长文《Neural Networks Are Already Clean》，提出神经网络本身远比想象中"干净"：2023 年用当时工具只能解释约 2% 的神经元，如今在现代视觉模型最后一层，99% 到 100% 都能找到清晰解释，甚至万亿参数规模的模型也能被直接阅读。本期复盘两个经典多义性案例的翻案过程（V 字几何、正脸对称检测），拆解"递归泛化"新解释与 3b 层 48 倍压缩实验，并呈现 Google DeepMind 可解释性负责人尼尔·南达（Neel Nanda）的核心质疑：双方争论的"叠加"并非同一个概念，语言模型的高密度记忆仍是未解难题。这份"工作假设"正在迫使可解释性、安全对齐、架构设计与应用工程四个方向重新校准路线。

原视频来自：youtu.be

原频道「AI前沿」每周精选，本频道日更。聊天讨论群，可加微信gxjdian入群，需备注