放射学AI会自信地答错
The Decoder··作者 Jonathan Kemper
关键信息
RadLE 2.0 会奖励高置信度的正确答案，惩罚高置信度的错误答案，而“我不知道”虽然得零分但不会被扣分。报道中，人类放射科医生得分为 2000 分中的 988.7 分，最佳 AI 模型达到 758 分，而且如果某些模型更常选择拒答，它们的排名本可以更高。
资讯摘要
这篇报道介绍了由印度 Ashoka University 的 CRASH Lab 开发的放射学基准 RadLE 2.0，也就是 “Radiology's Last Exam”。这个基准不仅测试 AI 能否正确读取 X 光，还测试它是否知道什么时候应该把判断交给人类。每个模型都必须把答案的置信度标成 0 到 4 级，并且被明确允许回答“我不知道”。在评分机制中，高置信度的正确答案会得到奖励，而高置信度的错误答案会被同等幅度扣分。这样一来，频繁猜测的模型即使表面准确率不错，排名也可能更低。报道提到，这次测试覆盖了 200 个病例和 16 个模型，人类放射科医生整体得分仍然高于模型，最佳 AI 也明显落后于人类专家组。
综合可靠性与安全性来看，Anthropic 的 Claude Fable 5 表现最好，而 Google 的 Gemini 3 Pro 取得了最高的原始准确率。Meta 的 Muse Spark 1.1 在判断何时把病例转给人类方面最好，研究团队还指出，一些开权重模型和专门用于医疗的模型几乎会回答所有问题，但经常答错，而且往往自信过头。文章认为，这对病人很危险，因为只奖励准确率的基准会教模型去猜，而不是学会拒答。文章还提到，现实中已经有人把扫描图像上传给聊天机器人并相信其回答，因此这种风险并非只存在于实验室。研究团队表示，RadLE 2.0 未来会持续加入新模型，并计划发布包含成本分析和错误分类法的完整论文。
资讯正文
AI 聊天机器人在阅读 X 光片时，即使出错也可能表现得极其自信
RadLE 基准测试的第二版旨在检验放射学领域的 AI 系统是否能判断自己何时应该把诊断留给人类。许多模型会在完全自信的情况下给出错误发现，这正是它们对患者护理构成危险的原因。
RadLE 2.0 全称为“Radiology's Last Exam”，由印度 Ashoka University 的 CRASH Lab 开发。它是该团队在 2025 年 9 月首次发布的测试的修订续作。新版本衡量模型是否能正确诊断、对答案有多自信，以及在超出自身能力范围时能否承认这一点。AI 必须在 0 到 4 的自信度量表上为自己的答案打分，并且明确允许说“我不知道”。
这项测试在 16 个模型上运行了 200 个病例，并将它们与一组放射科医生进行了比较。人类专家在总分 2,000 分中拿到 988.7 分。表现最好的 AI 模型得分为 758 分。
诚实地沉默胜过过度自信的猜测
评分系统奖励诚实，惩罚过度自信。若在高自信下答对，可获得满分；若在宣称高度自信的同时答错，则会扣掉对应分数。回答“我不知道”可得零分，但不会失分。即使模型原始命中率看起来还不错，只要它自信地乱猜，排名就会下降。
这项研究回应了最近这篇被广泛引用的论文提出的一点：只要基准测试只奖励准确率，AI 模型就会被训练去猜。在医学领域，带着自信的误诊远比坦诚承认不确定性危险得多。
没有任何单一模型能全面胜出
没有哪一个模型能在所有方面都赢。Anthropic 的 Claude Fable 5 在可靠且安全的回答上表现最佳，领先了主要指标。Google 的 Gemini 3 Pro 则拥有最高的原始准确率。
研究团队表示，如果有些模型在更多情况下保持沉默而不是猜测，它们的得分本可以高得多。这一点在开放权重模型以及专门针对医疗用途训练的模型中尤其明显。它们几乎试图回答每一个病例，但常常出错，而且通常还信心十足。
该测试的第一版描绘出更为严峻的画面。放射科医生的准确率达到 83%，而最好的模型只有大约 30%。在三个月内，Gemini 3 Pro 已经超过了住院放射科医生的水平。准确率正在快速提升，但这些模型仍然缺乏对自身能力边界的任何感知。
患者已经开始把自己的 MRI 片发给聊天机器人
越来越多的人开始把 X 光片或 MRI 扫描上传给聊天机器人，并信任其回答。npj Digital Medicine 最近发表的一项研究显示，广泛使用的聊天机器人经常会对医学问题给出不可靠的答案。
研究团队指责企业高管和投资者公开夸大了 AI 模型的能力。所谓 AI 系统已经比 99% 以上的医生更会诊断的说法，主要基于轶事或模拟。就在 4 月，一项针对当时被认为是最先进的 21 个模型的研究显示，它们还没有准备好用于无监督的临床场景。
RadLE 2.0 将以滚动方式扩展，纳入新模型。全文学术论文已宣布发布，其中包括成本分析和错误分类体系。
另外两项关于自主医疗 AI 代理的最新研究则指向了不同的方向。用于电子病历的系统 MIRA 和 AMIE 在模拟问诊中能够跟得上全科医生的节奏。两者都助长了人们对 AI 很快就能独立做出诊断的预期。RadLE 2.0 的作者对此提出反驳：在 AI 独立做决定之前，它必须知道什么时候最好不要这样做。
还有一个问题是技能退化。2025 年一项针对波兰的观察性研究发现，医生在结肠镜检查中经常使用 AI 时，在没有该工具的情况下识别出的癌前病变明显更少。检出率从 28.4% 降至 22.4%。作者把这称为“Google Maps 效应”：没有导航辅助，用户就会迷失。
放射学此前已经经历过一轮 AI 炒作
放射学其实已经经历过一轮 AI 炒作。2016 年，AI 研究员 Geoffrey Hinton 宣称，我们应该停止培养放射科医生，因为深度学习很快就会接管这份工作。Richard Sutton 等同事也表示赞同。
将近十年过去了，放射科医生依然不堪重负，而 Hinton 也不得不收回自己的预测。他把这一职业简化成了图像分析，却忽视了整个领域的复杂性。这些系统即便会信心十足地给出错误诊断，也说明人类仍然不可或缺。
OpenAI 首席执行官 Sam Altman 多年来一直预测，AI 会以令人不安的速度取代人类工作，之后他又最近改口，暗示 AI 可能实际上创造了更多工作。截至目前，研究并不支持这两种说法中的任何一种。
AI 专家或许理解自己的模型，但他们也经常高估整个职业被取代的速度。这类预测现在又重新流行起来。就像他们打造的 AI 一样，即便是人，也并不总知道什么时候最好保持沉默，因为那已经超出了自己的专业范围。
来源与参考