人工智能写作仍暴露模型特有习惯

关键信息

Graphite 将 10,000 篇 ChatGPT 发布前的人类文章，与不同人工智能模型根据摘要改写的文章进行比较，以尽量减少原始文本偏差。研究发现，写作特征的总体数量基本保持稳定，但具体短语会随模型版本变化；例如，“dependable”在 Opus 5.5 中的出现频率是人类样本的 23 倍，而“this matters”高出 116 倍。

资讯摘要

随着大型语言模型生成的 prose 越来越普遍，研究人员和读者都在寻找可靠的方法来识别这类文本。营销公司 Graphite 研究了前沿模型的写作习惯，将人工智能生成的文章与人类写作材料进行比较。研究人员首先选取了 ChatGPT 发布前发表的 10,000 篇文章，然后让不同模型根据文章摘要进行改写，以减少原始措辞造成的影响。他们发现，有 13,000 个词语或短语在人工智能写作中的出现频率至少是人类对照组的两倍。

Claude Opus 5.5 最明显的信号是“dependable”，该词在模型文本中的出现频率是人类样本的 23 倍；“this matters”和“why X matters”的出现频率则分别高出 116 倍和 92 倍。OpenAI 的 Astra 展现出不同习惯，包括提到“another dimension”、使用“may provide”或“can provide”进行谨慎表述，以及使用“not simply X”或“rather than relying on X”等纠正式结构。Graphite 的 Greg Druck 表示，Claude 模型的词语分布正逐渐接近人类，而 GPT 模型则越来越偏离人类分布。他还认为，可检测写作特征的总量并没有减少，因为模型虽然会移除熟悉的信号，却会产生新的信号，而且实验室可能无法测试超大型模型的每一种写作行为。

资讯正文

如今，LLM 生成的 prose 随处可见，人们迫切想找到识别它的方法。虽然早期的特征——比如破折号和“delve”——早已不再奏效，但研究人员表示，AI 模型在写作时仍会反复使用许多容易暴露身份的习惯性表达。

营销公司 Graphite 最近开展了一项新研究，考察前沿模型的写作习惯，梳理出每个模型最喜欢使用的词语和短语。虽然使用破折号等旧有特征已经被模型消除，但模型仍会反复采用大量对比式句型，而且每个模型版本都展现出自己独特的习惯。最令人意外的是，这些特征的范围之广。Graphite 发现，有 13,000 个短语在 AI 生成内容中的出现频率至少是人类内容的两倍——这就是他们对“特征”（tell）的定义。

“事实证明，随着时间推移，Claude 模型的词语分布实际上越来越接近人类，”Graphite 首席 AI 官 Greg Druck 告诉 TechCrunch。“而对于 GPT 模型来说，它们与人类词语分布的距离却越来越远。”

要大规模研究 AI 生成的写作，需要精心设计研究方法。Graphite 首先建立了一个由 10,000 篇文章组成的语料库，这些文章均发布于 ChatGPT 上线之前，作为人类生成内容的对照组。随后，研究人员让不同的 AI 模型根据文章摘要进行改写，希望尽可能消除源文本偏差。通过分别获取人类和每个模型生成的匹配样本，他们得以比较某些词语和短语在 AI 写作中的出现频率，以及句子结构中更广泛的模式。

根据 Graphite 的研究结果，Claude Opus 5.5 最大的特征是“dependable”一词，它的出现频率是人类样本中的 23 倍。虽然 Opus 5.5 如今已经避免使用“这不是 X，而是 Y”这样的句式，但它仍然倾向于说某个事物“more than an X, it’s a Y”（不只是 X，而是 Y）。

最重要的是，Opus 喜欢告诉你某件事为什么重要。短语“this matters”（这很重要）的出现频率是人类写作中的 116 倍，而“why X matters”（为什么 X 很重要）的出现频率则高出 92 倍。

OpenAI 的 Astra 则有另一套识别特征。这个模型喜欢描述所谈论事物的“another dimension”（另一个维度），并且往往通过说某个行动“may provide”或“can provide”某种特定益处来弱化语气。它最明显的特征是 Graphite 所称的“纠正式框架”（corrective framing）：将某个主题定义为“not simply X”（不只是 X），或者将其作为替代方案提出，即“rather than relying on X”（而不是依赖 X）。根据 Graphite 的研究，这些句式在 Astra 生成的 prose 中出现的频率是人类写作中的 100 多倍。

不过，尽管具体特征会发生变化，Graphite 表示，特征的总体数量基本保持稳定。“这并不是说这些特征在减少，”Druck 告诉 TechCrunch。“模型确实设法消除了最广为人知的那些特征，但其他特征又会冒出来。而且每个模型版本都有自己的特征。”

考虑到各家实验室都专注于打造类似人类的写作风格，这些特征能够如此持久地存在，确实令人意外。在 Opus 5.5 发布时，Anthropic 曾夸耀该模型“比此前的模型交流得更自然”，并表示早期用户“认为它的写作更清晰，也更容易理解”。

OpenAI 在发布 Sol 和 Luna 的 GPT-6 版本时也提出了类似的说法，称用户“可以期待看到更清晰的表达、更少的术语，以及更少的奇怪措辞转折”。

但对于这些实验室能在多大程度上彻底消除那些容易暴露身份的句式或短语，Druck 持怀疑态度。

Druck 说：“我的一个总体判断是，这些实验室对其中一些问题的控制能力，可能没有你想象的那么强。这些都是拥有数十亿参数的庞大模型。它们能够运行的测试数量是有限的，总会有一些东西漏网。”

来源与参考

1. 原始链接
2. Opus 5.5 loves to tell you 'this matters' (and other AI writing tells) | TechCrunch