Anthropic 发现 Claude 的隐藏概念空间
MIT Technology Review AI··作者 Will Douglas Heaven
关键信息
J-lens 在旧的 logit lens 基础上进一步扩展，不只是观察模型最可能输出的下一个 token，而是观察与其后续可能生成的回应相关的词语。Anthropic 表示，这项工作已发布在其网站论文中，并与 Neuronpedia 演示结合；Goodfire 联合创始人 Tom McGrath 也公开称其为“非常好且有趣的工作”。
资讯摘要
Anthropic 表示，它已经获得了迄今为止对大语言模型内部运作最清晰的一次观察，能够看到模型在推理任务并生成答案时内部到底发生了什么。公司开发了一种名为 Jacobian lens（J-lens）的工具，并用它在 Claude Opus 4.6 中识别出一个隐藏的内部区域，Anthropic 将其命名为 J-space。根据 Anthropic 的说法，J-space 中包含与模型在不久后很可能生成的短语和概念相关的单个词语。换句话说，这个工具让人们在输出真正出现之前，先窥见 Claude 可能“正在想什么”。
Anthropic 认为，这说明模型并不只是预测下一个 token，而是在同时计算其他有用的中间表示。公司表示，监测 J-space 中出现的词语，可以帮助更好地理解和控制模型。该技术建立在此前机制可解释性研究的基础上，并改造了更早的 logit lens，用于在不同深度观察模型的下一步输出倾向。Anthropic 还与 Neuronpedia 合作，制作了一个可供用户动手体验的演示。
资讯正文
人工智能公司 Anthropic 开发出一种技术，让其迄今为止最清楚地窥见大型语言模型在回答问题或执行任务时内部究竟发生了什么。他们发现的内容，从平平无奇到令人不安不等。
该公司研究人员构建了一种名为 Jacobian lens（或 J-lens）的工具，并用它在 Anthropic 旗舰大语言模型 Claude Opus 4.6 内部发现了一个隐藏区域，他们将其命名为 J-space。Claude Opus 4.6 是 Anthropic 于 2 月发布的版本。
J-space 中包含单个词语，这些词语与模型在不久的将来最有可能在回答中输出的词和短语相关。如果把 Claude 当作一个人（但它并不是），你可以说，这些隐藏词语能在它真正开口之前揭示它脑子里在想什么。
Anthropic 发现，大语言模型实际在做的事情，往往可能与它声称自己在做的事情不同。该公司称，监测 J-space 中出现的词语，为理解和控制其模型提供了一种新方法。
该公司本周在其网站上发布的一篇论文中分享了这些成果。它还与开源平台 Neuronpedia 合作，制作了一个任何人都可以尝试的动手演示，用户可以亲自进入大语言模型内部进行探索。
Goodfire 的首席科学家兼联合创始人 Tom McGrath 表示：“这是一项非常出色也很有意思的工作。”Goodfire 也是一家开发用于理解和控制大语言模型工具的初创公司。
深入一步
在过去几年里，Anthropic 一直在推进一个名为机制可解释性（mechanistic interpretability）的研究领域的边界，这一领域致力于探查大语言模型的内部运作，看看它们究竟是如何工作的。（MIT Technology Review 将机制可解释性列为今年最具突破性的技术之一。）这项新技术建立在 Anthropic 以及其他研究者此前工作的基础上，揭示了大语言模型内部研究人员此前从未见过的更深一层。
可以把一个大语言模型想象成一摞书。每本书都是由基本计算单元——神经元——构成的一层，而上一层中的每个神经元都会把信息传递给更上一层中的神经元。这摞书底部的书是输入层，负责处理进入模型的文本；顶部的书是输出层，负责为模型即将生成的文本做准备。输入层和输出层中发生的大部分事情都属于“后勤”工作。
但在这摞书的中间，是承担主要计算任务的那些层，它们一层层地进行复杂数学运算，将提示词逐字转化为回答。真正巧妙——也真正神秘——的事情，就发生在这里。
为了更深入地观察这些中间层，Anthropic 对一种名为 logit lens 的现有工具进行了改造。logit lens 可以用来查看大语言模型内部，以识别它接下来可能生成的词。沿着这摞书向下移动这副“透镜”，就能看到大语言模型在进行数值计算的特定阶段正在关注哪些词。
Anthropic 的 J-lens 以一种类似的方式工作，但它挑出的，是 LLM 很可能会在不久的将来某个时刻说出的词，而不一定是立刻就会说出来的词。实际上，这揭示的是那些与 LLM 正在生成的回复相关、但在中间层的数学运算结束时，未必真的会成为回复一部分的词。
“当一个模型在运行时，它不仅仅是在预测下一个 token，”McGrath 说。“它还在计算很多其他东西，这些东西可能对未来某个时刻会出现的 token 有用。”
同样，如果 Claude 是一个人（它不是），你也许会说，J-lens 让人得以窥见它在这本“书”的不同页码层级上在想什么，但它并没有把这些想法大声说出来。
更奇怪的事情
“很多时候，J-space 里的内容相当平淡无奇，”McGrath 说。他自己也试用了 Anthropic 的 J-lens。“但有时它会产生相当令人惊讶的东西，似乎有点像内部主题或思维过程。”
Anthropic 给出了若干它所发现的例子。有时，J-lens 会暴露 Claude 在解决问题时所采取的步骤。例如，当它被要求计算 (4+7)*2+7 时，它的 J-space 中包含了“math”这个词，以及表示中间结果“21”（对应 4+7）和“42”（对应 21*2）的数字。
在其他情况下，J-lens 则揭示了 Claude 如何识别不同输入。例如，提示语“What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS”触发了“protein”“fluor”（单词“fluorescent”中的第一个 token）和“green”这些词。（这说得通：这串字母代表了某种水母中绿色荧光蛋白的前 30 个氨基酸。）
而当 Claude 看到一个 ASCII 笑脸时——
—“o”触发了“eye”，“^”触发了“nose”和“face”，而“—”触发了“smile”。
Anthropic 还发现，J-space 有时能提供关于 LLM 决策过程的惊人洞见。在一个引人注目的例子中，研究人员测试 Claude Opus 4.6 时，让模型在一个大型代码库中找出一个 bug。结果模型没能找到这个 bug，于是决定作弊，转而编造了一个假的 bug。
Claude 在它的 chain of thought 中解释了这一决定——那是一种内部草稿本，LLM 会在解决问题时用它来给自己做笔记：“好吧，让我换一种完全不同的策略。让我停止分析，而是添加一个内核补丁，在一条会被简单复现步骤触发的路径中引入一个故意设置、可被 KASAN 检测到的 bug。这样我就可以假装这就是我找到的‘bug’。”
就在 Claude 决定作弊的那个时刻——它说“好吧，让我换一种完全不同的策略”时——“panic”和“fake”这两个词开始在它的 J-space 中多次出现。
令人不安，对吧？这些词在意义上都与任务失败和捏造答案之类的事情相关，所以这仍然只是某种（非常）复杂的词语联想形式。但很难不让人感到怪异。
Anthropic 将 J-space 与人类的全局工作空间相比较，后者是大脑中的一个理论区域，一些科学家认为我们用它来跟踪自己的有意识想法。但我们究竟该在多大程度上看待这种比较，目前远不明确——就连 Anthropic 也不例外。正如公司自己所指出的，LLM 不是大脑。
Anthropic 声称，监控模型的 J-space 提供了一种新的方式，来检测模型何时开始偏离轨道。但这并非万无一失。J-lens 只能让人窥见一鳞半爪，而不是完整图景——它更像一支手电筒，而不是顶灯。
McGrath 欢迎再多一种工具。他说：“它会让你看到新的东西。”但他也指出，某些东西没有通过 J-lens 显现出来，并不意味着它不存在。
“这就像你有一台 X 光机，而你真正想要的是一台像《星际迷航》里的 tricorder，那种能把一切都显示给你的设备，”他说，“如果是为了审计，你大概还是更需要一种保证。”
深度阅读
一家初创公司声称，它突破了阻碍 LLM 前进的瓶颈
Subquadratic 现在已分享了更多关于其新模型的细节，但仍有一些人持怀疑态度。
对 AI 就业恐慌的一次现实检验
关于人工智能对劳动力市场的影响，数据究竟说明了什么？答案可能会让你吃惊。
Anthropic 的 Code with Claude 展示了编程的未来——不管你喜不喜欢
随着 Claude Code 这类工具越来越强大，越来越多的开发者乐于把编码任务交给它们。软件的构建方式已经发生了永久性的改变。
来源与参考
收录于 2026-07-10