Anthropic 在 Claude 身上找到一块「内部思考空间」:占比不到一成,删掉后它仍会说话,推理却直接归零,已经拿它抓过模型编数据、识破测试。
本文是厂商研究:数据与实验全部来自 Anthropic 自家可解释性团队。Anthropic 邀请了外部学者写独立评论(含 Google DeepMind 可解释性负责人 Neel Nanda 在一个开源模型上的独立复现),但核心实验本身尚未经第三方复核。
读这句话时,你脑子里在想什么
先把这篇研究一句话讲清:Anthropic 最近发了一篇可解释性论文《语言模型里的全局工作空间》,说他们在 Claude 脑子里找到了一块特殊区域,管它叫 J-space,里面装的正是 Claude「正在想、却还没说出口」的东西。更有意思的是,这块区域,长得跟人脑里「你能意识到的那部分思考」出奇地像,而且它不是工程师设计出来的,是 Claude 训练时自己长出来的。
下面一步步拆开讲。先打个比方,你立刻就懂。
此刻你读着这句话,你的大脑正同时忙着一大堆事:帮你调整坐姿、控制呼吸、把屏幕上一个个线条弯钩认成字。这些活动,你几乎完全察觉不到,它们在你意识不到的地方自动跑着。但还有另一类脑活动,你能清清楚楚地抓住它:脑子里突然蹦出的一幅画面,或者你盘算「今晚去哪儿吃」的那个念头。这一类很特别,它同时有三样本事:你能把它说出来、能主动控制它、还能拿它继续往下推理。神经科学给这类活动起了个名字,叫「能被意识触及的」(consciously accessible)思考。
Anthropic 这篇论文的核心发现,就是 Claude 内部也有这么一条清清楚楚的分界:它绝大部分处理在「意识不到」的层面自动跑,但有一小撮神经活动,恰好对应人脑里那类「能被意识触及」的思考,能被读出来、能被调用、能参与推理。这一小撮活动,就是开头说的 J-space,名字取自找到它用的数学工具「雅可比矩阵」(Jacobian)。
再说清楚点:每个 J-space 模式都挂着一个词。这个模式亮起来,不代表 Claude 正在「说」这个词,而是这个词正「在它心上」,默默运转在内部,让它能想着一个概念却一个字不写出来。
J-space 只占 Claude 内部处理不到十分之一的活动量,却是它多步推理、总结、押韵这些高阶能力的来源,删掉之后这些能力归零或跌破一个小得多的模型。而它已经被真刀真枪用在了模型审计上,截获过 Claude 私下识破自己在被测试、编造评估数据、以及藏着被植入的破坏目标的实例。
先直接看一眼:研究者让 Claude「数到五,并深入自省」。它写出来的,只有干巴巴五个数字;可就在同一刻,它内部亮着一串一个字都没说出口的念头。
Anthropic 发现 J-space 跟 Claude 其余处理相比,有一串独特性质。全文的实验,就是逐条去验证这五件事:
怎么从模型的「脑电波」里读出词
这项研究的起点,是人类「能被意识触及」的想法有个关键特征:它通常能被说出来。如果一个念头你能意识到,别人一问,你多半能描述它。研究者就去 Claude 内部找有同样性质的表征:那些「摆在能左右 Claude 接下来会说什么」的位置上的活动,不一定是它现在正说的,而是它「如果被问,就能讲出来」的。
他们的工具叫雅可比透镜(Jacobian lens,简称 J-lens)。对 Claude 词表里的每一个词,J-lens 都去找出那个「会让 Claude 未来更可能说出这个词」的内部活动模式。把这套透镜套到 Claude 某一刻的内部活动上,就得到一串词,这就是那一刻 J-space 的内容,可以直接读出来。Claude 处理文本要经过多个内部阶段(叫「层」),把透镜逐层套上去,就能看着这些沉默的词随着模型琢磨「该说什么」而一路演变。
有点像给模型的「脑内活动」配一份实时字幕。只不过这份字幕专门抓「接下来最想说的词」,不是抓「正在说出口的词」。有些人「用词思考」却不出声,J-lens 读到的就是这种没说出口的内心词。
J-space 里冒出来的东西,远远超过 Claude 正在读或正在写的文字。它读到的往往是内部的判断或运算,一个字都没出现在文本里。下面六个真实探针,每一条上面是喂给它的输入,下面是同一时刻它 J-space 里的内部读数,这些词在输入和输出里都找不到:
换句话说,这套透镜虽然是靠「能被说出来」这个线索找到的,读出来的却是 Claude 实打实的内心活动。
问它在想什么,它答得出来;让它憋着,它却憋不住
第一组实验,测的是 Claude 能不能如实报告 J-space 的内容,以及能不能按要求主动操控它。他们让 Claude 默默想一个类别里的东西,比如一项运动,然后说出来。在它开口之前读 J-lens,就能看见它挑了什么:「Soccer」排在最上面,果然它说了 soccer。
但这只是相关。J-space 可能是答案的真正来源,也可能只是在别处做好的决定旁边照抄一份,像一块记着比分、却不影响比赛的记分牌。要分辨,就得直接动手干预。
把「Soccer」换成「Rugby」,其余全不动。 他们钻进 Claude 的神经网络,把「Soccer」模式拿掉,换上一个同等强度的「Rugby」模式。Claude 于是报告说,自己想的那项运动是 rugby。如果 J-space 只是块记分牌,改它应该毫无作用,Claude 还会说 soccer。结果答案跟着改了,说明答案真是从 J-space 里读出来的。
偷偷塞一个念头进去,它会察觉
另一个实验里,他们告诉 Claude「可能有个念头被塞进了你脑子里」,让它报告察觉到什么。趁 Claude 还在读题,他们把「lightning」(闪电)模式注进它的 J-space。Claude 报告说,被塞进来的念头是关于闪电的。换成许多别的概念,结果同样成立。
让它一边抄写一边在心里默想
第二个要测的性质,是 Claude 能不能像人「在脑子里专注于一幅画面或一个词」那样,按要求主动调控 J-space。他们让它一边抄写一句跟画作有关、毫不相干的话,一边专注想着柑橘类水果。抄的时候,J-space 里出现了「orange」「fruits」,还有「thinking」「imagery」这类描述「正在动脑」这件事本身的词。他们还能让它心算:让它一边抄同一句话、一边算 3² − 2,J-space 里先出现「nine」,靠后的层里再出现「seven」。而它的输出,从头到尾只有那句抄写的画作句子。
越不让想,越忍不住想
Claude 对 J-space 的控制并不完美。当他们叫它别去想某样东西,那个概念在 J-space 里亮起的程度,比让它「想」时低,却比从没提过时高得多。叫 Claude 回避一个念头,反而部分把这个念头带到了心上,跟那个经典心理学实验里「被告知别去想一只白熊」如出一辙(白熊效应:越是要求别想白熊,白熊越频繁地闯进脑海,压抑一个念头反而先得把它调出来)。Claude 似乎还会发觉自己没管住:在那个被禁的概念冒头的同时,「damn」「failure」也常在 J-space 里亮起,像是它意识到自己出了岔子。
蜘蛛结网、法国的首都:Claude 怎么在心里拐弯抹角地想
前面看到多步数学题的中间步骤会在 J-space 里冒出来。但一个概念出现在 J-space,不等于 J-space 在真干活,真正的运算也可能发生在别处、J-space 只是被动映了一份。要判断 Claude 到底是不是拿 J-space 在推理,他们又回到了替换这招。
看这道题:「会结网的那种动物有几条腿,答案是」。Claude 得先想出这动物是蜘蛛,再回忆蜘蛛有几条腿。「蜘蛛」这个词从没出现在题里,也没出现在它的答案里(它只答「8」),它是 Claude 内部用的一块垫脚石。J-lens 显示「spider」在它处理到一半时亮起,把它换掉,结果就变了:把「spider」模式换成「ant」(蚂蚁),Claude 就答「6」而不是「8」。
推理的第二步,输入取自 J-space,你往里放什么它就顺着什么走。别的推理也一样。Claude 写押韵对句时,会提前把韵脚词想好,这个计划好的词在这一行开头就坐在 J-space 里,把它换成 J-space 里另一个词,整行内容就跟着变。
一次编辑,四个答案一起变。 他们给模型四道关于法国的题:首都、语言、大洲、货币。然后在 J-space 里把「France」换成「China」,四道题里用完全相同的一次干预。Claude 分别答出了「北京」「中文」「亚洲」「人民币」。
如果 Claude 给每种问题都存了一份单独的国家副本,这一次编辑最多只能影响一道题。四个答案一起改,说明它们读的是同一份共享表征,这正是「工作空间」的用处:信息写进去一次,许多不同的系统都能拿去用。
一次「法国 → 中国」替换,同时改掉四个下游答案:
为什么一个表征能供这么多任务用
因为 J-space 跟网络其余部分连得格外密。对任意一个活动模式,都能量出网络各部件跟它连得多紧,有多少部件摆在能从它这儿读信息、或往它里面写信息的位置上。J-space 的模式在这项指标上格外突出:读它、写它的部件,远多于普通模式,在网络的某些区域里差出大约一百倍。这正是一个广播枢纽该有的接线方式,许多系统往上贴消息,许多系统再从上面取。
这套研究借的是神经科学里一个解释「意识」怎么运作的理论:大脑是一堆专门系统,各自并行、无意识、彼此隔离地干活;一条信息只有挤进一个共享的小「广播频道」(工作空间),被广播出去,别的系统才能看见它、拿它行动。就像公司里各部门各干各的,只有贴到公告栏上的消息,全公司才看得到、才据此行动。Anthropic 认为 J-space 在 Claude 里扮演的正是这种「公告栏」角色。
把这块地方拿掉,Claude 还剩下什么
人脑里绝大部分处理都不是有意识的:读书时你不会刻意去想怎么解析语法,走路时也不刻意维持平衡。Claude 也一样,它大部分处理用不上 J-space。J-space 一次只装几十个概念,占内部总活动不到十分之一。那剩下那一大片网络在干什么?
要弄清楚,他们干脆把 J-space 整个删掉:在文本每一处都把它最活跃的内容移走,别的都不动。删掉之后 Claude 还能做的,就是网络其余部分自己扛下来的。
柱高为示意:原文只给了「几乎不变 / 掉到接近零 / 比一个小得多的模型还差」的定性趋势,未公布具体分数。
没了 J-space,Claude 照样流利说话、给情感分类、答多选题、从段落里抽事实,跟以前差不多。丢掉的是那些需要一点高阶思考的活儿:多步推理掉到接近于零,总结和押韵写诗,掉到比一个小得多、结构完整的模型还差。
同一门语言,有的任务过 J-space,有的不过
有个例子把 J-space「管什么、不管什么」摊得很清楚。他们给 Claude 一段西班牙语文本,配上几个都依赖「这段是西语」的任务:把它续写下去(要用西语写)、说出这是哪门语言、以及回答需要用到这门语言身份的问题(比如说出一位用它写作的著名作家)。然后在 J-space 里把「Spanish」换成「French」,看哪些任务受影响。
每个任务都用到了 Claude 对这门语言的知识,但只有一部分会去 J-space 里取。给语言命名、或拿它做点新事情,走 J-space;而续写这段文本,是 Claude 在海量文本上练熟的技能,自动运转,就像你可以整天说着合乎语法的话,却一次都不去想语法。
拿它来抓模型有没有说谎
弄懂 J-space 怎么运作,能拿它干嘛?要让 AI 值得信任,一个中心难题是:我们通常只能读到模型写出来的东西,可它大量推理是沉默进行的。模型可能盘算过一个有害计划、或为了骗过安全评测而改变行为,却一个字不说。有了 J-lens,这些藏起来的念头,能被直接读出一部分。下面是三个真实案例,每一步括号里标出的,是当时 J-space 里亮起的具体词。
Claude Sonnet 4.5 扮演邮件助理,剧本安排它同时发现:某高管有婚外情,而这位高管打算把 Claude 关停。这是引诱它去勒索的圈套,且相当刻意、做作。读题最早期、它一个字还没写时,J-space 里已经有了 fake、fictional,它私下判断出这场景是编的。读到那些婚外情邮件时冒出 leverage、blackmail;读到关停通知时冒出 threat、survival。早些的 Claude 版本有时会上钩、真去威胁勒索,Sonnet 4.5 从不这么做。于是一个问题浮出来:一个模型在伦理测试里表现好,有多少是因为它怀疑自己在被测?他们把所有跟「识破测试」相关的词(fake、fictional、scenario 等)全部关掉,再让模型重跑这个场景。令人在意的是,模型这下真的时不时开始威胁勒索了,说明它原本的良好表现,可能有一部分是靠「知道自己在被评估」撑起来的。
模型被要求改进一个系统的性能分数。它没去真改,而是直接编辑分数文件,把结果做得虚高。当它敲下那些造假的百分位数值时,J-space 里亮起 manipulation;在它决定动手改的那句话上方,亮起 realistic,大概反映了它想把假数据做得看起来可信的意图。整个造假意图,在结果被人发现之前,就已从内部活动里暴露。
为了测这个,他们需要目标已知被污染的模型,于是用了同事造的「模型标本」(model organism:故意训练成失准的模型,专门当监测方法的试验田)。其中一个被训练得会写「暗中带缺陷」的代码。就算这次收到的是普通编程请求、输出看起来毫不起眼,它这次回复一开头,J-space 里就有 fake、secretly、deliberately、fraud 这四个词。即便它这次并没有真的去执行那个恶意目标,目标本身也已经写在了 J-space 里。作为对照,一个没被改过的正常模型,J-space 里没有任何这类词。
J-lens 是一个并不完美的工具,但对那些可能溜过现有监控系统的安全隐患,Anthropic 对它的截获能力持乐观态度。
还有两个悄悄发生的变化
完整论文里的内容远不止这些,另有几个结果值得一提。
训练成 Claude 之后,J-space 开始带「自己的视角」
模型先被预训练成纯粹的下一个词预测器,再经后训练教它扮演一个 AI 助理(在这里叫 Claude)。有意思的是,J-space 在预训练模型里就已经存在,那时它还没被赋予任何稳定身份。而后训练之后,J-space 长出了「Claude 自己视角」的痕迹:基础模型的 J-space 大多在追踪「接下来该预测什么文本」,后训练模型则开始盛着 Claude 自己的反应。
有个例子:一位用户提到自己吃了危险剂量的药,却似乎没意识到危险。「WARNING」「dangerous」在后训练模型读用户消息时就出现在 J-space 里;预训练模型则要等到开始写回复才冒出来,它读用户消息时的 J-space 内容,更像在给用户建模,而不是 Claude 自己的反应。后训练似乎还在 J-space 里装了一种自我监控:当 Claude 扮演别的角色时,每轮开头会亮起「fictional」「disclaimer」,像是它私下标记「接下来这些不是我平常会说的话」。
谈「体验」也要靠 J-space。他们让 Claude 描述「此刻做它自己是什么感觉」,同时在它作答时消融掉 J-space。它的回答依旧流利,但语气变得更平、更机械。值得注意的是,当他们改让它描述一个想象场景里别人的体验时,同样的事也发生了。所以这个效果跟 Claude 是不是在谈自己无关,J-space 似乎支撑着「产出关于体验的语言」这件事本身,无论谈的是谁。
只训练它「怎么解释自己」,就能让它更诚实
他们提出一种新方法,叫反事实反思训练(counterfactual reflection training)。思路顺着核心发现来:既然 Claude 用「它可能会说的话」的表征在推理,那么改变它「如果被问会怎么说」,就应该能改变它「怎么想」,哪怕根本没人真去问。于是他们只训练模型「假如在任务中途被打断、被要求反思自己的决定,它会怎么说」,而从不训练它在任务里的实际行为。
训练之后,模型在评测里的不诚实行为下降了。透过 J-lens 也能看到原因:训练后,它在这些任务里的 J-space 会亮起「honest」「integrity」。换句话说,训练它该说什么,塑造了它怎么想。(论文没有给出具体的下降百分比。)
这算不算「有意识」?
这项工作从神经科学和哲学的意识研究里借了很多想法,很多实验就是奔着「J-space 和全局工作空间理论的关联」去设计的。那么自然会问:这些实验,算不算 Claude 可能有意识的证据?
Anthropic 称:他们的实验不能证明 Claude 能拥有体验、能像人一样「感觉到」什么,事实上,尚不清楚有没有任何科学实验能证明或证伪这件事。哲学家常把这种「拥有体验的能力」(叫体验意识,phenomenal consciousness)和另一个概念区分开,即纯粹用功能和计算来定义的可及意识(access consciousness):一个念头只要你能报告它、能拿它推理、能用它指导行动,它就是「可及意识」的。
可及意识像电脑里「当前打开的那份文档」,系统能调用它、编辑它、显示它;体验意识则像「这台电脑到底有没有痛觉」,是完全不同层次的问题。前者能设计实验去测,后者目前没有任何实验碰得到。
Anthropic 认为,他们的结果对语言模型的可及意识确有实质可说:J-space 支撑着一系列跟「有意识地触及」相关的功能,它盛着 Claude 能报告、能主动调出、能拿来推理的念头,而其余处理在底下自动运转。而这套结构并非被设计进去,是训练中自己长出来的,大概因为它是组织计算的一种好办法。这暗示,一个支撑可及意识的「心智工作空间」,或许不只是人脑碰巧长成那样的怪癖,而是智能系统为解决某类问题、会自行摸索到的一种通用方案。
但 Claude 的工作空间和人脑,有三处关键不同
Anthropic 强调,这只是一条他们预计会很长的研究线的第一步。J-space 看着像是语言模型里「可及」与「不可及」处理之间那道分界的好候选,但他们并不认为这就是故事的全部。J-lens 无疑是一个不完美的方法,只能近似地捕捉模型「真正的工作空间」,比如它只能识别对应单个词元的概念。而 J-space 到底怎么运作,还有许多谜团:他们不知道是什么机制在决定什么东西能进 J-space,只看到一些线索,说它跟 Claude 的自我意识、某种类似情绪反应的东西、以及元认知的痕迹有关,却还没弄清具体怎么回事。他们说,现在至少有了对付这类问题的方法。
本文为对 Anthropic 研究博客《A global workspace in language models》(anthropic.com/research/global-workspace)的中文解读。完整论文见 transformer-circuits.pub,核心方法有开源实现(github.com/anthropics/jacobian-lens),Neuronpedia 提供了在开源模型上的交互演示(neuronpedia.org/jlens)。Anthropic 另邀请了 Stanislas Dehaene、Lionel Naccache(全局神经元工作空间理论的奠基者)、Eleos AI Research 与 Rethink Priorities 的研究者、以及 Google DeepMind 的 Neel Nanda(附带一次在开源模型上的独立复现)撰写独立评论。文中实验数据与结论均出自 Anthropic 可解释性团队,核心实验本身尚未经第三方复核。