Armin Ronacher 谈 AI 改写的漏洞报告

关键信息

Ronacher 具体批评了 AI 生成的“猜测式”内容，例如对根因的推断、伪造的最小复现、实现建议，以及拿错误代码做类比。他更偏好一种极简报告，只围绕可观察的事实展开，而不是经过润色的叙述或推断出的诊断。

资讯摘要

2026年5月24日，Simon Willison 发布了 Armin Ronacher 关于 AI 辅助漏洞报告质量的一段引语。Ronacher 说，最令人沮丧的失败模式是，人们提交的 issue 并不是用自己的语言写的，而是先交给 AI 系统改写，结果把原本的问题变成了一团看起来更“体面”但更混乱的文字。按照他的说法，这类报告通常确实源自真实观察到的问题，但 AI 会加入听起来很自信、实际上却常常不准确的结论。Ronacher 指出，这往往会产生对根因的猜测、伪造的最小复现、实现层面的建议，以及把问题类比到并不相关的代码路径。

这样一来，报告表面上看起来更详细，实际上却更不可信，也更容易让维护者困惑。他更希望 issue 报告回到最朴素的形式：明确写出发生了什么、原本预期是什么、实际发生了什么，以及完整的错误信息或日志输出。该页面本质上是 Simon Willison 收集并转述的一段引语，而不是一篇更长的分析文章或产品发布。

资讯正文

2026年5月24日

当前最令人沮丧的一种失败模式是，人们提交的问题并不是用他们自己的语言写的。里面某处确实包含了一个被观察到的问题，但它被扔进了一个 clanker 里，而 clanker 把它改写得一塌糊涂。通常，这些内容的提示方式糟糕透顶，以至于得出的结论大多并不准确，却总是充满自信。结果就是：对根本原因的彻底瞎猜、伪装得很小的复现步骤、建议的实现策略、把问题类比到相邻但往往错误的代码，以及一长串也许有用、也许毫无关系的错误类别。[…] 所以，至少就我个人而言，我越来越希望问题报告能被压缩成那个人实际观察到的内容：我运行了这个命令。我本以为会发生这样的事。结果却发生了这个。这里是精确的错误信息或日志。

当前最令人沮丧的一种失败模式是，人们提交的问题并不是用他们自己的语言写的。里面某处确实包含了一个被观察到的问题，但它被扔进了一个 clanker 里，而 clanker 把它改写得一塌糊涂。通常，这些内容的提示方式糟糕透顶，以至于得出的结论大多并不准确，却总是充满自信。结果就是：对根本原因的彻底瞎猜、伪装得很小的复现步骤、建议的实现策略、把问题类比到相邻但往往错误的代码，以及一长串也许有用、也许毫无关系的错误类别。[…]

所以，至少就我个人而言，我越来越希望问题报告能被压缩成那个人实际观察到的内容：

我运行了这个命令。

我本以为会发生这样的事。

结果却发生了这个。

这里是精确的错误信息或日志。

—— Armin Ronacher，关于提交给 Pi 的 slop issues

最近文章

Datasette Agent - 2026年5月21日

Gemini 3.5 Flash：更贵，但 Google 计划把它用于一切 - 2026年5月19日

LLM 近六个月的发展，用五分钟看完 - 2026年5月19日

这是一段由 Simon Willison 收集的引语，发布于 2026年5月24日。

来源与参考

1. 原始链接
2. A quote from Armin Ronacher