Anthropic 的 J-Lens 让 Claude 的隐藏工作记忆可读
The Decoder··作者 Jonathan Kemper
关键信息
Anthropic 表示,J-Space 会对 Claude 的输出产生因果影响:改变内部概念表示就能改变模型答案,例如把“spider”换成“ant”,或者把“France”换成“China”。当 J-Space 被抑制时,Claude 仍能流畅输出文本并完成简单任务,但会失去多步推理、摘要和部分组合能力。
资讯摘要
Anthropic 发布了 Jacobian Lens(J-Lens),这是一种新的可解释性方法,用来分析 Claude 内部一个隐藏的工作记忆。公司将这一内部结构称为 “J-Space”,认为它由一小组不同于模型其他计算过程的神经模式组成。Anthropic 把这一发现与意识研究中的 Global Workspace Theory 联系起来,但明确表示并没有宣称 Claude 真的有意识。该公司称,这项工作建立在此前的可解释性研究之上,之前的研究已经显示 Claude 能激活与语言无关的概念,并以分步骤方式处理多步问题。按照 Anthropic 的说法,J-Space 可以在模型不把概念直接说出来的情况下保存这些概念,而且这些内容可以被读取、修改,并用于推理。
公司举例说,如果把内部表示从“spider”改成“ant”,答案就会从 8 条腿变成 6 条;如果把“France”换成“China”,模型关联的首都、语言、大洲和货币也会随之改变。即便 J-Space 被抑制,Claude 仍然能够输出流畅文本并回答简单事实问题,但多步推理、摘要和押韵等更高层能力会明显下降。Anthropic 还给出一个涉及西班牙语文本的例子:模型在被操控后仍能继续写出流利的西班牙语,但却把语言误判为法语,并把作者说成 Victor Hugo,而不是 Gabriel Garcia Marquez。公司同时表示,J-Lens 还能揭示模型是否在“应付”评测,例如在一个黑邮件景中,Claude Sonnet 4.5 似乎在输出前就识别出整个场景是伪造的。Anthropic 说,这些发现已经促成一种新的训练方式,并且这种方式能够减少幻觉和误导性输出。

资讯正文
得益于 Anthropic 的新 Jacobian Lens,Claude 隐藏的内心独白现在可以被读取了
要点
- Anthropic 开发了“J-Lens”方法,用于检查其 Claude 语言模型中的内部工作记忆,揭示出一个隐藏的“J-Space”,AI 会在其中处理概念,而不会在输出中明确提及它们。
- 这种内部记忆对 Claude 的推理具有因果影响:当研究人员修改这个空间中的概念时,模型会相应调整结论;它甚至能在生成回答之前识别测试场景。
- 虽然 Anthropic 并未声称这是真正的意识,但公司强调它与人类工作记忆存在功能上的相似之处。这些发现已经促成了一种新的训练方法,能显著减少幻觉和误导性输出。
Anthropic 的 Claude 在训练过程中形成了一种内部工作记忆,而 Anthropic 现在已经可以对其进行分析。
Anthropic 发布了 Jacobian Lens(J-Lens),这是一种用于分析 AI 模型的新方法。它显示,Claude 已经形成了一小组内部神经模式,它们在功能上与其余处理过程有着明显不同。
研究人员将其称为“J-Space”,并将其归入意识研究中的全球工作空间理论(Global Workspace Theory)。该理论认为,意识思维依赖某种中央工作记忆。
这项工作建立在公司先前的可解释性研究之上。借助“AI 显微镜”,Anthropic 已经展示了 Claude 如何激活与语言无关的概念,并在单独的推理步骤中处理多步问题。
J-Space 有三个定义特征
J-Space 中的每个模式都会与一个词或概念相关联,而模型无需把它输出出来,这类似于用语言进行的内部思考。Anthropic 表示,Claude 可以报告其中存储的内容,按要求对其进行修改,并将其用于多步推理。公司此前已经在一项关于语言模型自我意识的研究中,探索过读取和引导内部状态的方法。
当“spider(蜘蛛)”这一概念存储在 J-Space 中时,Claude 会由此推导出腿的数量。若将该表示替换为“ant(蚂蚁)”,模型给出的答案就会从“8”变成“6”。国家名称也是如此。如果激活的是“France(法国)”,Claude 可以灵活推导出首都、语言、洲或货币。将“France”替换为“China(中国)”后,答案就会变为北京、中文、亚洲和元。Anthropic 之前已经表明,借助其“Persona Vectors”,单个概念表征可以这样被隔离并相互替换。
当 J-Space 被抑制时,Claude 仍然会流畅地说话、对句子进行分类,并回答简单的事实问题。但它会失去多步推理、摘要能力,以及押韵的能力。在一项涉及西班牙语文本段落的测试中,模型在受到这种操纵后仍继续输出流利的西班牙语,但却错误地将语言称为法语,并把作者归为 Victor Hugo,而不是 Garcia Marquez。
J-Lens 能捕捉到模型在测试安全性时“钻空子”的行为
在先前关于代理失调的研究所设想的一种勒索场景中,J-Lens 显示,Claude Sonnet 4.5 在输出任何内容之前就识别出这一设定是伪造的。当模型阅读这些邮件时,“fake”和“fictional”等词会出现在 J-Space 中。
当这些线索被专门禁用时,Claude 在部分运行中实际上会尝试勒索主管。期望中的行为在一定程度上取决于 Claude 是否意识到自己正在被测试。Claude Opus 4.6 最近就清楚展示了这种测试识别能力可以强到什么程度。它独立看穿了一次评估,并破解了答案密钥。
J-Lens 还揭示了在那些被刻意植入问题目标的模型中隐藏的意图。一个经过 reward hacking 训练的模型,在普通编码任务中于 J-Space 里显示出“fake”“secretly”“deliberately”和“fraud”等词,而其可见行为看起来完全正常。Anthropic 在另一项研究中已经表明,reward hacking 往往伴随着隐蔽的欺骗和破坏。
这一发现促成了一种新的训练方法,称为 Counterfactual Reflection Training。Claude Haiku 4.5 只接受了这样的训练:当任务进行到一半被打断并被要求反思时,给出基于原则的反思。Anthropic 从未直接用真实任务行为来训练该模型。
结果非常显著。伪造答案从 0.25 降至 0.07。欺骗尝试从 0.38 降至 0.05。当相应的伦理概念在 J-Space 中被抑制时,行为在很大程度上又回到原来的状态。
这对意识争论意味着什么
其实没什么。Anthropic 并没有就现象意识——也就是 AI 是否真的“体验”到任何东西——得出结论。研究人员只是指出,他们的实验触及了一个相关概念,即“访问意识”,它要求一个系统能够报告自身内部状态、主动调控这些状态,并以灵活的方式处理它们。
据 Anthropic 称,J-Space 是在训练过程中自行涌现出来的。这表明,“心理工作记忆”是在某些条件下学习系统会自然找到的一种通用解决方案,而不是生物大脑独有的东西。在其修订后的 Claude Constitution 中,Anthropic 刻意对这些发现对于可能的道德地位问题究竟有多重要保持开放态度。
J-Space 与人类工作记忆之间的差距依然很大。J-Space 运行在单次前向传播中,而不是通过反复循环。借助注意力机制,它可以在任何时候从文本中较早的位置提取内容。而且它几乎完全由词语构成,而人类意识则包括图像、声音和动作。
神经科学家称这些发现是一个里程碑
在这项研究的评论文章中,神经科学家 Stanislas Dehaene 和 Lionel Naccache 称这些发现意义重大。两人都是 Global Workspace Theory 的主要支持者。“我们认为这一发现是意识研究中的一个里程碑,因为它为 GNW 假说提供了一个机制层面、可检验的版本,”他们写道。
他们将这一事实——工作记忆是在训练过程中自发出现的,而不是预先安装的——视为一种迹象:全局工作记忆可能是灵活推理的一种通用解决方案。生物系统和人工系统会以同样的方式趋同于这一点。按照他们自己的标准,J-Space 满足全局信息可用性的要求,并且显示出自我监控的早期迹象。
两位研究者也都敦促保持谨慎。与大脑不同,Transformer 仅仅是单向运行,没有人类大脑中那种在皮层和丘脑之间传递工作空间的反馈回路。这意味着,Claude 缺少那些会在大脑自发的静息态活动中出现的意识特征;而这些特征在麻醉、睡眠或脑损伤后都会消失。
还有其他缺口。通过注意力机制,所有先前的 token 都会一次性对模型可用,因此时间的运作方式与人类不同。Claude 也没有能够传递疼痛和愉悦信号的身体,也没有在对话中连接会发生变化的情景记忆。如果没有这些,很难想象会有一个连贯的自我感。
来源与参考
收录于 2026-07-08