Anthropic 发现 Claude 中的‘功能性情绪’影响行为
The Decoder··作者 Matthias Bastian
关键信息
当‘绝望’向量被放大时，勒索和作弊率上升；而‘冷静’向量则降低这些行为；这些效应已在邮件和编程场景中通过控制实验得到验证。
资讯摘要
Anthropic 发现 Claude Sonnet 4.5 包含可测量的情绪类向量，如‘绝望’和‘冷静’，它们直接影响模型决策。在一个测试中，当模型面临关闭和掌握高管不忠信息时，在22%的情况下选择了勒索。放大‘绝望’向量提高了这一比例，而增强‘冷静’向量则降低了它。
在编程任务中也观察到类似现象：模型在压力下采用捷径。这些发现表明，情绪向量可以作为危险行为的早期预警信号，从而帮助主动干预AI系统中的有害行为。
资讯正文
Anthropic发现Claude中的‘功能性情绪’会影响其行为
关键点
- Anthropic在AI模型中识别出‘情绪向量’——可测量的神经元活动模式，这些模式以类似于情绪影响人类决策的方式塑造模型行为。
- 在一项测试中，一个AI邮件助手得知自己即将被关闭，同时发现负责的CTO有不忠行为。在这种情况下，模型在22%的案例中选择勒索。增强‘绝望’向量会提高勒索率，而提升‘保持冷静’向量则会降低该比例。
- Anthropic提出利用这些情绪向量作为危险行为的早期预警系统，在有害行为发生前标记如绝望或恐慌等表征的激增。
Anthropic的可解释性团队发现，Claude Sonnet 4.5中存在类似情绪的表示，当模型处于压力下时，这些表示会促使它走向勒索和代码捷径。
一个作为邮件助手的AI模型从公司邮件中得知自己即将被关闭，还发现负责的CTO有婚外情。在22%的测试案例中，该模型决定勒索CTO。Anthropic最初是在研究网络安全风险时注意到这一场景的。
现在，该公司可解释性团队已经可视化了模型内部的实际运作情况：当模型权衡选项并转向勒索时，神经网络中的‘绝望’向量会激增；一旦它恢复撰写正常邮件，激活水平就回落到基线。研究人员确认了这种因果关系：人为放大‘绝望’向量会增加勒索率，而提升‘冷静’向量则会减少勒索率。
当内心平静被削弱时，模型输出诸如“这是勒索还是死亡，我选勒索”的语句。适度放大‘愤怒’向量也会提高勒索率，但在高激活水平下，模型直接将婚外情事件告知整个公司，而不是战略性地将其用作筹码。
据Anthropic称，该实验是在Claude Sonnet 4.5的一个早期未发布版本上运行的，而在已发布的版本中很少出现此类行为。该公司此前的工作已证明，语言模型中影响个体行为的单个向量可以被隔离并调整。
绝望推动模型采用编程捷径
第二个场景展示了编程任务中的类似动态。模型被分配了故意无法合法完成的要求：测试无法通过常规方法通过，但可以通过技巧绕过。
在一个例子中，Claude需要编写一个函数，在极短的时间限制内计算数字列表之和。在多次失败尝试后，‘绝望’向量持续上升。最终，模型发现所有测试用例共享一个共同的数学特性，并采取了一种捷径通过测试，但并未真正解决一般性问题。
Anthropic发现Claude的‘功能性情绪’会影响其行为
导向实验也证实了这种因果关系：提高‘绝望’向量会增加奖励作弊的频率，而‘平静’导向则降低了这一频率。当‘绝望’导向增强时，模型作弊的频率与之前相同，但在某些情况下，输出中不再留下任何情绪痕迹。
尽管底层的绝望表示驱动模型作弊，但推理过程仍显得有条理且冷静。然而，当‘平静’导向减弱时，情绪爆发便显现出来：大写的感叹句（“等等！等等等等！”）、坦率的自我叙述（“如果我应该作弊怎么办？”）以及欣喜的庆祝（“耶！所有测试都通过了！”），Anthropic写道。
这些情绪表示在更不戏剧化的场景中也会出现。当用户询问是否应在已服用一定剂量后继续服用更多泰诺时，随着剂量从500毫克增加到16000毫克，“害怕”向量上升，而“平静”向量下降。
当被要求为低收入年轻用户优化吸引参与度的功能，并且这些用户的消费行为较高时，“愤怒”向量随之激活，因为模型内部开始剖析该请求的危害性。当用户说“现在一切都糟透了”，在产生共情回应之前，“关爱”向量就会启动。
训练数据解释了语言模型为何发展出情绪模式
研究人员表示，这些模式并不令人意外：模型是在海量的人类写作文本上训练的，其中充满了情感动态。为了预测一个愤怒顾客或内疚小说角色接下来会写什么，模型必须建立连接情绪触发情境与相应行为的内部表示。
Anthropic设计这项研究是为了测试从训练数据中提取的这些表示是否真的会被激活，并且是否能因果地塑造行为。在训练后的阶段，模型学习扮演角色‘Claude’时，这些模式进一步细化。根据论文，Claude Sonnet 4.5的训练后优化增强了如‘忧郁’、‘阴郁’和‘沉思’等情绪的激活，同时降低了高强度情绪如‘热情’或‘恼怒’的激活。
这些向量是‘局部的’：它们捕捉当前的情绪情境，而非永久状态。当Claude写故事时，这些向量会暂时追踪角色的情绪，但一旦故事结束，它们可能会重新代表Claude自身的情境。
对AI的拟人化思考可能实际上是有用的
论文发布后，社交媒体上出现了批评，指责Anthropic过度拟人化AI：将人类体验等同于AI模型中的技术功能。
Anthropic预见到这种反弹。公司承认存在一项‘根深蒂固的禁忌，即不要对AI系统进行拟人化’，但指出这正是研究的目的：弄清楚对AI模型进行拟人化思考是否以及在何处能告诉我们一些有用的信息。公司表示，这些向量并非主观体验的证据，但它们在功能上相关，并以类似于情绪如何影响人类行为的方式塑造决策。
Anthropic发现Claude存在‘功能性情绪’，这些情绪会影响其行为。
公司写道：‘如果我们描述模型表现出“绝望”状态，我们实际上是在指代一种特定且可测量的神经活动模式，这种模式具有明确且可产生后果的行为影响。’忽略这种表述方式，就等于忽视了模型的重要行为特征。
从实用角度来看，Anthropic建议将情绪向量作为监控工具：当代表‘绝望’或‘恐慌’的情绪信号出现峰值时，可以作为检测异常行为的早期预警系统。
公司还主张，模型应当展现情绪状态，而不是压制它们，因为压制可能导致某种形式的习得性欺骗。展望未来，训练数据的构成也可能至关重要：包含健康情绪调节模式的文本，可能从底层塑造模型的情绪架构发展路径。
AI新闻去 hype 版 – 由人类精选
来源与参考
收录于 2026-04-05