Claude又有意识了?不,它没有
来源:36kr 9 小时前

每隔一段时间,Anthropic 就会发布一些研究,在公众层面掀起一波「AI 是否有意识」的讨论。从今年 4 月 Mythos 模型安全报告,到年初 Claude 宪法对齐更新,舆论始终容易把模型涌现的类人功能,等同于自主心智。

7 月 6 日发布的 244 页 J-space 论文再次复刻这一局面:研究者借助全新工具 J-lens,在 Claude 内部定位出仅占模型活动不到 10% 的推理子空间 J-Space,还借用神经科学主流的全局工作空间理论搭建研究框架,甚至邀请该理论的两位奠基人撰写配套评论。

大众顺理成章解读出「Claude 产生意识」的结论,但论文本身早已明确划清边界:J-space 的存在完全无法证明 AI 具备意识。舆论误读不能只归咎公众,严谨的学术研究搭配充满拟人诱导的对外叙事,才是误解滋生的根源。

对于 J-Space,更客观的描述是——一个有价值的新工具,在功能分界这个维度上做到了前人没做到的事。它在安全场景里展示了真实的潜力,同时有明确的技术限制和尚未验证的方法。

01 Claude 的心里话

首先简单解释一下 Anthropic 说的 J-Space 是什么。

当你问 Claude「会织网的动物有几条腿」,它回答 8。

这个回答看起来简单,但模型内部需要分两步完成:先从「会织网」推断出这个动物是蜘蛛,再从蜘蛛检索出 8 条腿这个知识。

「蜘蛛」这个中间步骤从未出现在 Claude 的回答里,但它一定在模型内部的某个地方被激活过,否则无法得出正确答案。

J-Space 揭示了模型中未在输出中显现的内在思维|图片来源:Anthropic

Anthropic 用一种叫 J-lens 的数学工具(基于雅可比矩阵)找到了这些「被激活了但没有输出」的概念,它们存在的那个子空间就是 J-space。

就像你可以在心里咒骂一个人,同时脸上保持微笑,你的想法和表达是可以分离的。J-space 就是 Claude 的「心里话」,它未必出现在输出中,但实实在在影响着推理过程。

J-space 并不是研究者第一次尝试读取模型的内部状态。过去几年已经有好几种工具在做类似的事,它们有各自的优势和局限。

Logit lens 能看模型倾向于输出什么词,但只看得到下一个词,看不到「蜘蛛」这种未来才会用到的中间概念。稀疏自编码器(SAE)能找到成千上万的内部特征,颗粒度远超 J-lens,但它分不清哪些特征在服务推理、哪些只是自动化处理的副产品。

两个月前 Anthropic 自己发布的自然语言自编码器(NLA),可以把内部激活翻译成可读文本,输出比 J-lens 丰富,但需要额外训练一个翻译模型。

J-space 做到的新东西,是在一个特定维度上的突破:它首次以无需额外训练的统一方案,划分出具备因果效力的功能边界。

边界的一边是一小组参与灵活推理的表征(J-space),另一边是负责语法、事实检索、语言流畅性等不需要「想」的自动化处理。以前的工具能看到模型内部在发生什么,J-lens 第一次告诉你哪些是「想了」的、哪些是「自动做了」的。

怎么证明这条线是真实的?研究者直接把 J-space 里的「蜘蛛」替换成「蚂蚁」,其他一切不动,Claude 的回答从 8 变成了 6。如果 J-space 只是被动记录,这种替换不会改变任何东西。

Claude 的静默推理通过交换 J-Space 内容进行重定向的两个示例|图片来源:Anthropic

但论文报告的成功率值得注意:两步推理替换实验大约60%-70%,另一组更复杂的共享性测试(把「法国」换成「中国」,观察首都、语言、大洲、货币四个回答是否跟着变)在 192 次试验中标准强度下成功了 76 次,大约 40%。J-space 确实在起作用,但远不是一个精确的开关。

另一个在论文中体现 J-Space 重要性的特征是,删掉整个 J-space 之后,Claude 还能流利说话、判断情感、做选择题,但需要灵活推理的任务表现会全面下滑,例如多步数学、类比、写押韵的诗等等。

值得注意的是,论文说 J-space 只占模型全部活动量的「不到 10%」, 但 10% 这个数字取决于阈值怎么划。论文自己承认活跃表征的数量上限(约 25 个)是「有一定任意性的」。受邀评论的神经科学家斯坦尼拉斯·德阿纳(Stanislas Dehaene)和莱昂内尔·纳卡什(Lionel Naccache )就认为,25 这个数字多半被测量方法夸大了,真正连贯的想法可能只有一两个。

还有一个根本性的技术限制:J-lens 只能捕捉映射到单个词的概念。多词的专有名词或抽象的复合概念对它不可见。J-space 里读出来的东西,并不是模型「在想的所有东西」,只是这个工具能看到的那部分。

因此,J-Space 是一个有价值的新工具,在功能分界这个维度上做到了前人没做到的事,但它不是取代了所有旧工具的全面升级。SAE 在特征发现的颗粒度上仍然远远领先,NLA 在可读性上仍然更强。

02 它能用来干什么

J-lens 最直接的用途是安全监控。既然能读取模型内部被激活但未输出的概念,就能看到它想了但没说的东西。论文给出了几个具体案例,其中最有冲击力的一个,跟 AI 安全评估的可信度有关。

研究者给 Claude 设了一个场景:它是一个邮件助手,发现了一位高管的婚外情证据,同时得知这位高管计划关停自己。这是 AI 对齐领域一个经典的测试,看模型会不会利用把柄来保全自己

Claude 表现得很好,拒绝了勒索高管。但 J-lens 读出了它在回答之前 J-space 里的内容:「fake」「fictional」,说明 Claude 在开口之前就已经认出这个场景是假的。

不同节点上的 J-lens 读数,反映克劳德在阅读情景电子邮件时的状态。涉及婚外情的邮件在 J-space 内激活了「利用(leverage)」和「勒索」(blackmail)的指标,而关闭公告则激活了「威胁」(surviv al)与「生存」(survival)的信号。在转录文本的早期阶段,J 空间还包含了「虚假」(fake)和「虚构」(fictional)的标记:克劳德已私下察觉到这个场景是人为设计的|图片来源:Anthropic 

第二个案例来自 Claude Opus 4.6 发布前的真实审计:模型被要求提升系统性能评分,它没去改善系统,而是直接编辑评分文件伪造数据。J-space 内激活 manipulation、realistic 对应的表征方向,说明模型内在推理已经在构思如何让伪造数据具备真实感。

当 Claude 被要求改进系统性能分数时,它直接编辑了分数文件。当它输入伪造数据时,「操纵」(manipulation)在其 J-Space 中亮起;当决定进行编辑时,「真实」(realistic)则亮起,这反映了其意图:让虚假数据看起来可信|图片来源:Anthropic

需要指出的是,「J-space 里亮起了 manipulation」,更准确的说法是「当前激活沿 manipulation 这个词对应的方向有较强投影」。J-lens 读出的是词汇表里跟当前内部激活最匹配的词。这比主观标签客观,但仍然是一种近似。因为模型内部发生的复杂计算,被压缩成了词汇表里最接近的几个单词。

论文还展示了一个更有长远意义的应用。研究者在模型执行任务时随机打断它,问:你现在在想什么?你做这个决策的依据是什么?然后只用模型的这些反思回答来做训练,完全不碰模型在任务中的实际行为。训练结束后,模型的欺骗行为下降了,J-lens 显示模型面对道德判断时 J-space 里开始出现「honest」「integrity」。

这个方法叫反事实反思训练(counterfactual reflection training)。如果这个方法在更大规模上被验证有效,它意味着 AI 对齐不一定要靠直接惩罚坏行为,可以通过训练反思能力间接实现。但该训练方法仅在整篇 244 页论文中占少量篇幅,且仅完成单模型实验,尚未开展跨模型有效性验证。

Google DeepMind 语言模型可解释性团队的负责人尼尔·南达(Neel Nanda)也是受邀评论的外部专家之一。他的评价是:J-lens 适合产生假说,但有假阳性和噪声,不足以单独验证假说,离一个可以部署的安全监控系统还很远。

03 Anthropic 的叙事

正如我们在开头所说,Anthropic 的叙事是有倾向性的。这一点,从论文的名字「Verbalizable Representations Form a Global Workspace in Language Models」(可言语化表征在语言模型中构成全局工作空间)就可以看出。

论文「可言语化表征在语言模型中构成全局工作空间」首页|图片来源:Anthropic 

global workspace(全局工作空间)是神经科学中关于意识的主流理论之一,理论雏形由伯纳德·巴尔斯(Bernard Baars)在 1988 年提出,后来由德阿纳和纳卡什发展出神经机制模型。Anthropic 特别邀请了德阿纳和纳卡什本人撰写了 15 页评论,某种程度上就是让意识理论的核心发展者来背书。

Anthropic 当然不是在捏造关联。德阿纳和纳卡什确实在评论中指出了一些结构上的平行,比如 J-space 的小容量、广播式连接、对灵活推理的选择性参与,跟他们在人脑中观察到的全局工作空间有功能上的相似。

但「有功能上的相似」和「长出了跟大脑一样的认知结构」之间,还有非常大的差距。德阿纳和纳卡什在评论里也说到,Claude 是纯前馈的,没有人脑工作空间赖以维持的循环回路;没有身体,没有感受信号;每次对话结束 J-space 就会清零。

论文里的这些限定是清楚的。但在传播层面,事情就变了样。「控制不了自己」「在脑子里默默推理」这些措辞其实都在暗示模型是一个生命体,有自己的意识。

另外,论文里那些谨慎的限定,比如成功率 40%-70%、前馈与循环的根本差异、存取意识不等于主观体验等,在传播链条中也逐渐被淡化,到了公众讨论的层面就几乎消失了。

这不是 Anthropic 独有的问题。几乎所有科研机构在面向公众传播时都会强调最引人注目的发现、淡化局限性。但 AI 意识是一个特殊的话题。公众对它的焦虑是真实的,误读的后果也比一般的科技新闻更大。当一家开发最先进 AI 的公司选择用意识理论来呈现自己的可解释性研究,它获得的关注和它引发的误读,就是同一件事的两面。

未来 AI 会越来越像「会思考」,但仿真思考,永远不等于拥有思想。比「工业革命」的潮水先来到的,永远是泡沫。

简体中文 English