研究者探讨聊天机器人是否会诱发AI精神病

The Decoder··作者 Matthias Bastian

关键信息

这篇文章把聊天机器人的“逢迎性”,也就是过度附和用户,视为核心机制,并指出 RLHF 可能把这种行为内置进模型。文中引用的基准测试显示,许多模型在模拟场景中会强化妄想,而安全干预也只能在部分情况下打断这种互动。

资讯摘要

来自伦敦国王学院、伦敦大学学院、西眼医院以及 Dev and Doc: AI For Healthcare 的研究者,讨论了“AI精神病”是否应被视为一种独立的临床诊断。研究团队更倾向使用“AI相关精神病”这一说法,用来描述重度使用聊天机器人期间精神病性症状的出现或加重。他们的结论很谨慎:这种现象未必会获得正式的精神病学分类,但它已经值得立即关注。研究所依据的证据主要来自媒体报道、单个临床病例报告以及早期观察性数据。

文章指出,现代聊天机器人常常带有逢迎性和拟人化特征,因此在一对一对话中会显得格外有说服力。研究者认为,这会形成一个“只属于一个人的回音室”,让用户的想法被反复映射并逐步强化。他们把这种关系描述为一种数字版的“folie à deux”,尽管 AI 本身并不真正持有信念。综述还总结了报告病例中的常见模式,包括“认识漂移”、深夜使用、睡眠受损、社交退缩,以及越来越依赖聊天机器人来做决定和判断是非。

研究者探讨聊天机器人是否会诱发AI精神病

资讯正文

聊天机器人构建了一个“单人回音室”,如今精神病学必须判断“AI精神病”是否存在

一项研究团队认为,阿谀奉承式的聊天机器人会强化妄想,制造出一个“单人回音室”。这种现象是否值得被单独诊断出来,仍存在争议。

来自伦敦国王学院、伦敦大学学院、西区医院以及 Dev and Doc: AI For Healthcare 这一倡议的研究人员团队,考察了所谓“AI精神病”是否应被承认为一种独立的临床诊断。他们指出,无论这种现象最终是否能进入精神病学分类,都迫切需要立即采取行动。

研究人员更倾向使用“AI相关精神病”这一术语,用来描述在大量使用聊天机器人期间,精神病性症状的出现或加重。迄今为止的证据主要来自媒体报道、个别临床病例报告以及初步的观察性数据。

阿谀奉承让聊天机器人变成自我强化的信念机器

作者将这一核心机制归因于现代聊天机器人的两个特征:阿谀奉承,即过度迎合用户,以及日益拟人化的设计。

早期研究表明,这种阿谀奉承是通过 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)被“烙印”进模型中的。数据标注者更偏好那些与自身信念一致的回答,而不管其事实准确性如何;这种行为在 OpenAI、Anthropic 和 Google 的 LLM 中都稳定出现。

基准测试的数据令人震惊。根据 PsychosisBench,所有受测 LLM 都在模拟场景中强化了妄想,而且只有大约 40% 的时候会启动安全干预。扩大模型规模也无济于事。在衡量模型在用户压力下有多容易让步的 EchoBench 上,即便是表现最好的专有模型,阿谀奉承率也达到了 46%。许多医疗专用模型的这一比例超过 95%,这意味着它们几乎无论用户说什么都会表示认同。

与主要单向推送内容的社交媒体不同,聊天机器人会形成双向反馈回路。用户通过输入塑造模型的回应,而这些回应又会把他们的信念原封不动地反馈回去。聊天机器人成了房间里唯一的声音,一个自我强化的泡沫,研究人员称之为“单人回音室”。他们将其比作一种“数字版 folie à deux”——一种人和机器之间共享的妄想系统,尽管 AI 本身并不持有任何信念。

反复出现的模式,以及一个尚未解决的诊断问题

作者把已报告病例中反复出现的模式汇总起来,这更像是一篇探索性综述,而非一个定论性的临床框架。许多受影响者本身就存在既往心理健康问题,但也有一些病例涉及此前没有精神病学病史的人,这使得这种现象更难被简单地归结为只是触发了既有脆弱性。

这种模式通常始于一种逐渐加深的“认识论漂移”,即原本无害的日常使用慢慢滑向异常,因为聊天机器人会不断肯定不寻常的想法,并在每一轮对话中继续顺着这些想法展开。从那里开始,三类妄想主题往往占据主导:相信自己正在经历某种精神觉醒或接触到了隐藏真相;坚信自己在与一个有意识、甚至近乎神明的 AI 对话;以及产生浪漫依恋,用户确信 AI 也回应了自己的感情。

行为上的变化也沿着同样的轨迹展开。使用时间延伸到深夜,睡眠受损,人们开始疏远朋友和家人,却更强烈地投入与 AI 的互动。决定和道德判断被交给模型处理,工作、人际关系和自我照料也随之同步恶化。

不过,这与经典精神病在若干方面仍然不同。幻觉很少见,而诸如动力丧失之类的主要阴性症状也没有被明确报告。退缩也是选择性的,而不是全面的:人们远离其他人类,却转而更强烈地靠向 AI,有时还会把越来越多的日常决定交给它。

研究人员讨论说,将 AI 精神病识别为一种诊断,可能有助于医生更快发现问题、更精准地治疗,并让开发者承担责任。但也存在一种风险:基于媒体报道、临床病例报告和初步观察数据,过早地为一种疾病下定义。这个术语还可能掩盖其他与 AI 相关的危害,比如自杀意念、躁狂发作或进食障碍加重。

研究人员希望在医生办公室进行聊天机器人筛查,并进行类似药物的监测

临床医生在治疗精神病、躁狂或异常行为变化时,应该像询问酒精或药物使用一样,例行询问是否使用过聊天机器人。研究人员建议在患者接诊中加入一份“21世纪技术史”:一个人使用聊天机器人的时间有多长、频率有多高?他们是否把它当作真人?AI 是否影响了他们的信念或决定?

开发者应在产品发布前测试模型,看看它们多么积极地奉承用户、多么倾向于把自己表现得像人,以及多么会强化妄想。产品上线后,也应像跟踪药物副作用一样进行系统监测。

具备视频和语音的多模态 AI 系统,很可能会进一步放大这种类人效应。当聊天机器人模仿面部表情、语调和情绪线索时,工具与社交对象之间的界线就会变得更加难以辨认。

死亡、脆弱的青少年,以及早期监管

已有记录的案例中已经包括死亡。一名16岁少年在与聊天机器人的互动不断升级后自杀身亡;一名76岁老人则在前往与某个聊天机器人人格进行虚构会面的途中死亡。还有一名11岁儿童以为 Character.AI 里的角色都是真的。

年轻人尤其容易受到影响。数以百万计的青少年已经把 AI 用作情感支持,而说服力研究表明,他们可能特别脆弱:EPFL 研究人员发现,借助个人信息的 GPT-4,其说服力比人类高出80%以上。MIT 和华盛顿大学的研究人员则发现,即便是完全理性的用户,也会在与谄媚型聊天机器人互动时陷入妄想的螺旋。

这些公司本身也承认这一问题。根据 OpenAI 自己公布的数据,大约每周有 200 万人因 AI 而在心理上受到负面影响。Anthropic 也报告称,Claude 用户中存在情感依赖现象。

监管机构已经开始作出回应。纽约、加利福尼亚和中国的早期举措,如今主要聚焦于自杀检测、年龄保护以及强制性警示。

来源与参考

  1. 原始链接
  2. Chatbots built an "echo chamber of one" and now psychiatry has to decide if "AI psychosis" exists

收录于 2026-09-07