推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱，99% 神经元清晰可见 - AI 简报

亲手推翻自己十年前的结论，可解释性大佬 Nick Cammarata 这次读懂 AI 脑回路。

作者丨高允毅

编辑丨岑峰

“大模型把猫和汽车分为一类，不是弱智。”

在 AI 可解释性领域，有一个十年的经典案例，是 InceptionV1 模型里编号 4e:55 的神经元。这个神经元在看到“猫脸”和“汽车车头”时，都会被强烈激活。这意味着，整个神经网络的底层逻辑是不可解释的。

于是整整十年，整个领域都沿着 “拆” 的思路往前走：既然网络是一团乱麻的黑盒，那就发明工具把它拆开。稀疏自编码器（SAE）分解、特征字典、特征解缠…… 都是先把纠缠的特征拆成一个个独立的、人类能懂的单元，再去理解。

就在昨天，OpenAI早期机制可解释性研究的科学家，也是当年将该案例推向经典的《Zoom In》的共同作者，Nick Cammarata ，亲自推翻了自己当年所下的结论。

“这个神经元根本不认识猫，也不认识车。它检测的是V 字几何形状，不管是狐狸的尖脸、喷射的火焰，都会激活它的正极；而它的负极，是圆形的东西。”他直言，这个误判的根源，或许是当年的观测工具太低级。

2023 年他在 OpenAI 做第一个大规模自动化神经元解释项目，用现有工具只能解释大约 2% 的神经元。结果三年后，当他带着更先进的算法和 Agent 团队重新研究，发现情况完全不同。

在他们测试的现代视觉模型中，最后一层99%～100%的神经元都能找到相当清晰的解释。就连当年以 “深层混乱” 著称的 InceptionV1 本身，用新工具重新观测，可解释率大幅提升。

因此，Nick Cammarata 发表了一篇需要阅读 65 分钟的长文《Neural Networks Are Already Clean》，并提出了一个惊人之论：神经网络本身，远比我们想象的要 “干净”。

这里的 “干净”，不是指“一个神经元只干一件事”，而是说网络内部有着极其连贯、精妙、且完全可以被人类直接阅读的组织结构。它就像一个规整的地图，想看细节就 “双击放大”。

对此，OpenAI 核心研究员 roon 直接转发并惊呼，这是“科学史上的重要时刻”，“我们终于可以把 AI 对齐，变成一门‘常规科学’了”。

毕竟，这篇文章一旦成立，等于把过去十年可解释性研究的核心焦虑推翻了。AI 圈过去几年，花大力气搞的稀疏自编码器（SAE）分解、特征字典、特征解缠，可能都走错了路。

或许，可解释性领域也可以用“The Bitter Lesson”来解决，即简单即高效。

十年共识的诞生与反转

为什么人们会认为“AI 的大脑”是一团乱麻呢？这一切要从 2014 年的 InceptionV1 视觉模型说起。

作为可解释性研究早期的 “模型生物”，研究者发现，模型的表层神经元还算清晰，但越往深层走，越像一团乱麻。当时人们估计，最后一层能被人类看懂的神经元，学界认为只有区区 5%。

其中最出名的，是 4e:55 的神经元，它让两个八竿子打不着的东西共用一个神经元，怎么看都违背“一个神经元对应一个概念”的朴素预期。

为了解释这种现象，学术界提出了一个核心理论“叠加假说”（Superposition）。他们认为，当神经元数量不够用时，AI 就会偷偷切换学习策略，把互不相关的概念“折叠”进同一个神经元里。因为它们很少同时激活，所以不会互相干扰。

2020 年，Cammarata 与 Chris Olah 在里程碑级论文《Zoom In》中又给出了更具象的证据：网络竟然把汽车的特征信号藏进了一组“狗神经元”中，这更加实锤了叠加现象。

既然神经网络是缠结的，那就必须发明工具把它强行“拆开”。

一直以来，Anthropic 和 OpenAI 等顶尖实验室，都把稀疏自编码器（SAE）作为主流方案，其思路是训练一个辅助模型，把原本硬塞在神经元里的多个特征强行拽出来，重新分类，贴上人类可读的标签。

但 Nick Cammarata 发现，每次观测工具的升级，看似混乱的神经元就会自动变得清晰一些。他忍不住怀疑，或许问题根本不在神经网络，而在我们观察网络的工具上。

从 2009 年特征可视化技术刚诞生时，合成的迷幻图案，到引入变换鲁棒性后，较为清晰的神经元可视化图像，再到如今 Nick Cammarata 团队通过微调参数，引导算法沿着“真实图像的激活路径”去观测，发现现代架构（如 ConvNeXt）最后一层 99% 以上的神经元变得清晰可读。

原来这十年，大家一直在和工具误差较劲。

两个经典案例的 “翻案”

工具升级之后，可解释性领域的两个 “多义性” 经典案例，双双迎来反转。

整个反转的核心逻辑，是用动态的机制与合理的几何特征，推翻了过去静态的、字面化的名词分类法。

▎案例一：“猫与汽车神经元” 案例

过去的特征可视化，本质是用梯度下降算法合成一张最能激活神经元的图。但算法为了追求最高激活值会“抄近路”，产生“奖励作弊”（reward hacking）问题。

由于 ImageNet 训练集中猫狗类图片数量极多、特征极强，算法合成出的最强激活图像里，会混入猫的胡须、狗的皮毛这类语义残渣。研究者顺着这些附带特征解读，自然会误以为这是个 “动物神经元”。

为此，Nick Cammarata 团队用了两套更严谨的方法重新观测。

第一，激活路径引导：精细化微调正则化参数，强制约束算法必须沿着真实图像的天然激活路径去合成特征，从而剥离掉算法自身产生的干扰噪音。

第二，正负两极交叉验证法：不只研究 “什么能最强激活神经元”（正极），同时研究 “什么能最强抑制神经元”（负极），通过两端共同锚定神经元的真实功能。

结果发现，神经网络原来是按照几何去分类的。在“猫车神经元” 案例里，它检测的是 V 字几何形状。

任何 V 形轮廓都会触发它的正极，比如狐狸的尖脸、喷射的火焰、汽车的尖头、消防船喷出的 V 形水柱。反过来，所有圆形轮廓会触发它的负极，比如圆脸、圆球、圆形的车轮。

▎案例二：“汽车与狗神经元” 案例

而另一组“汽车与狗”的案例也是同样的道理。InceptionV1 训练数据里狗的图片远多于汽车，狗相关神经元也更密集，优化过程掉进 “狗的图像盆地” 就爬不出来，最后合成的 “最强激活图” 全是狗。

为了查明真相，Nick Cammarata 团队这次引入了自动化 Agent 工具，对这组电路做了一场动态的梯度追踪和消融（控制变量剪线）实验。

结合泛化轴线解离方法拆解后，他们发现，原来这组神经元根本不是 “狗神经元”，而是检测“物体是否正脸直接面对镜头、且两侧对称”的神经元。

汽车的特征信号在这里被打上 “正面朝前” 的标签后，会继续向下游更深的层流动，并最终分流进真正的 “汽车分类电路” 和 “狗分类电路”。

之前多义性误读的根源其实在于数据集偏差。本质上，特征天然就会沿着信号进行连续的泛化与分流。

神经元的真相是递归泛化？

既然神经网络不是胡乱叠加，那“多义性”现象是怎么来的？

Nick Cammarata 给出了一个新的解释：递归泛化。他认为，神经元像树枝一样生长。

一个神经元最初或许只识别油菜花。沿着 “黄色” 这条特征轴，它慢慢拓展到识别所有黄色物体；沿着 “圆形外形” 这条轴，又延伸到各类球状物体；再顺着 “花田里的生物” 这个关联路径，进一步覆盖花田里的狗，最后延伸到绿色的西兰花。

如果人类只看到这个神经元同时响应油菜花和西兰花，很容易误以为模型逻辑混乱。但只要追溯它生长的完整路径就会发现：每一次分叉、每一次特征延伸，都具备连贯的逻辑。

在语言模型里，递归泛化现象更夸张。比如，原本只检测 “iy” 发音的神经元，训练中先延伸到了识别 “diy” 这个词，到最后，连完全不含 “iy” 音的短语 “Do it yourself” 都能激活它。

所谓人类看不懂的逻辑，实际是神经网络在用它高维的逻辑，进行着语义延伸。

这时候，传统学派一定会反驳：如果神经元真的不够用了，神经网络难道不会切换到叠加模式吗？

为此，Nick Cammarata 设计了一个极限压力实验。

他盯上了 InceptionV1 的 3b 层。这一层没有残差流，信号无法绕路传播。Nick Cammarata 将该层原本用于检测曲线的 480 个神经元，直接压缩至 10 个，相当于 48 倍压缩，然后从零重新训练。

按叠加假说，空间严重不足时，神经网络肯定会把各种无关特征乱塞进这 10 个神经元。

结果完全相反。这 10 个神经元个个清晰可解释，它们只是每个管得更宽了：一个“曲线与环”神经元，主动合并了原来 10 个不同角度的细分曲线检测器；两个“圆形”神经元，包揽了原本复杂的多种圆形分类。

他还得到了一个颠覆性的发现，经过 SAE “解缠”拆出来的特征，不仅没有变干净，其响应宽度反而比原始神经元粗了好几倍。

这意味着那些过去几年让无数科学家欢呼、声称“从网络黑盒里解缠出来的叠加特征”……很可能，根本就是 SAE 这个工具自己制造出来的数学假象。

网友质疑没有新花样

长文发布后，Nick Cammarata 的推特变成了网友们的大型提问区。

有人提问，当未来出现非 Transformer 架构时，这套方法还适用吗？

Nick Cammarata不仅给出肯定的回答，还表示性能越好的模型，内部其实越容易被解释。旧式卷积神经网络、新式卷积神经网络、现代 Transformer 模型这三种截然不同的底层架构，已经证明了这套理论的通用性。

Zapier 联合创始人 Mike Knoop 在线追问，能不能直接把神经网络的“干净度”做成一个正式的行业评估指标？

Nick Cammarata 表示这并不难。人类过去太低估原生电路的可研究性了，其实控制激活、消融剪线、盲区探测等方法，都可以直接给神经网络的底层秩序“打分”。

而叠加理论的核心奠基人之一， Google DeepMind 机制可解释性团队负责人 Neel Nanda，却直接泼了一盆冷水。他直言：“这篇文章虽然有趣，但对于可解释性而言，并没有带来什么实质性的突破”。

Neel 一针见血地指出，双方争论的根本不是同一个 “叠加”。

“叠加” 这个词在领域里至少有五六种定义，最核心的是两种，一种是“任意叠加”，即网络会把毫无关系的特征塞在一个神经元里，这是 Cammarata 推翻的版本。另一种是他所捍卫的 “表征叠加”，大语言模型能记住远超神经元数量的知识，靠的是用极少数的神经元通过线性组合去表达海量的概念。二者的靶子本就不在一处。

在此基础上，Neel 从三个维度提出了具体的技术质疑。

首先是“弱激活”的定位问题。Nick 认为弱激活大多是语义延伸的次级树枝，砍掉也无伤大雅。但 Neel 指出，弱神经元激活里存储了海量的事实和记忆组合，正是叠加的核心载体。

Neel 同时强调，论文最扎实的证据全部来自视觉模型，但视觉和语言本质上不同。语言模型是海量事实、记忆、知识的载体，信息密度高几个量级。小图像模型本身记忆能力就差，不能证明大语言模型里也没有叠加。

最后是为SAE（稀疏自编码器）正名。Neel 澄清，SAE 在残差流上依然是不可替代的工具，它能敏锐地反映模型每一层的信息瓶颈。这不是谁取代谁的问题，两者各有适用场景。

针对这些质疑，Cammarata 也认同。他承认自己的文章只是一个“工作假设”，还有几个关键问题他没解决：

可解释性并没有因为模型变大而“饱和”，巨型模型的内部依然很干净。这种超级规模本身带来的其他工程挑战，目前还远远没有被彻底解决。

覆盖范围上，研究只涉及视觉和语言单模态模型，视觉 - 语言融合的多模态模型，尤其是融合层的电路组织形式，完全没有覆盖，很可能和单模态的规律完全不同。

核心机制上，递归泛化只在图像模型里完整追踪了训练全过程；语言模型缺少训练过程的检查点数据，没法直接观测神经元一步步泛化的过程，只能从最终形态反推规律。

工具定位上，他从未全盘否定 SAE：实验只证明在极度压缩的层上，SAE 拆不出干净的原生特征；但在正常未压缩的原始层，SAE 和原生神经元的形状匹配度高达 0.96-1.00，依然是高效工具。

方法局限上，目前的结论高度依赖转向导向实验和归因图，本质都是 “扰动看效果” 的思路；不主动扰动系统、纯自然状态下的严格因果验证，目前仍是开放问题。

即便这只是一份工作假设，它也正在迫使四个方向的从业者重新校准自己的技术方向：

做可解释性的团队：别再执着于用 SAE 去给网络做解缠手术了。直接抬头看原生神经元和电路，开展快速的常规观测。
做安全对齐的团队：这绝对是个好消息。如果原生网络天然可读，意味着对齐超级智能的门槛比想象中要低——虽然对齐依然困难，但至少“理解 AI 的门槛”暴跌了。
做架构设计的团队：残差流和 LayerNorm 这些为了让模型“学得更好”的改进，竟然意外地让网络变得更易读。未来的架构搜索完全可以把“可解释性”光明正大地加进指标里，因为它和性能完全兼容！
做应用层的工程团队：未来调控 AI 行为不需要再重新微调了。通过行为干预工程，“调节一个神经元，就直接改变模型在特定法律/医疗场景下的行为”，将从论文概念直接变成生产线上的产品功能！

十年前，我们看着模糊的神经元图像，得出了 “神经网络不可解释” 的结论。十年后才发现，混乱的从来不是网络，是我们先入为主的偏见。Rich Sutton 的 “The Bitter Lesson” 再次回响：在理解 AI 的道路上，大道，终究至简。

参考链接：https://already-clean.goodfire.com/

https://x.com/NeelNanda5/status/2110875974296654062

上车，雷峰网带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注专区。