Pangram崛起引发AI检测质疑
WIRED AI··作者 Lexi Pandell
关键信息
Pangram 表示自己使用“合成镜像”技术，通过让 LLM 生成与人类写作相近的文本来训练模型，并用“硬负样本挖掘”来寻找误判并重新训练模型。文章强调，公司声称使用的是经过授权的数据集且误报率很低，但也指出 AI 检测争议很大，因为错误指控可能带来真实的声誉和商业后果。
资讯摘要
这篇《连线》文章讨论了 Pangram 作为 AI 检测服务的迅速崛起，并追问它到底有多值得信任。Pangram 声称可以估算一段文字中有多少是由 AI 生成的，并以“最佳猜测”的百分比形式输出结果。文章首先提到 1 月围绕作者 Mia Ballard 的自出版小说《Shy Girl》引发的争议；该书后来被 Hachette 选中准备传统出版，但在 Reddit 和 YouTube 上出现是否使用 AI 写作的猜测后，Pangram 的 CEO 表示这本书有 78% 是 AI 生成的，Hachette 随后取消了发行。之后类似指控不断出现，包括《纽约时报》的 Modern Love 专栏某一期被指为 AI 生成，Pangram 给出的评分是 100%。文章还提到，一位 Commonwealth Short Story Prize 获奖者、小说《Daggermouth》以及惊悚小说《Call Me, I’ll Hide the Body》也被 Pangram 判定含有较高比例的 AI 内容，其中后者据称曾卖出 240 万美元。
7 月下旬，Substack 宣布会把 Pangram 集成进平台，让读者能快速判断内容是否可能使用了 AI。文章指出，许多写作者对 AI 检测工具抱有强烈反感，作家兼出版专家 Jane Friedman 甚至认为，这类软件在一些人看来和 AI 公司一样有害。随后文章转向 Pangram 联合创始人 Max Spero，介绍了他与 Bradley Emi 在斯坦福相识、他在 Google 参与 FLoC 的经历，以及两人在 2023 年创办 Checkfor.ai、并在 2024 年更名为 Pangram 的过程。Pangram 进入了一个竞争激烈的市场，Originality.ai、GPTZero 和 Turnitin 等工具都在其中，但早期独立测试表现不错，使其逐渐成为领跑者之一。
资讯正文
Pangram 承诺能够检测任何给定文本中 AI 参与生成的程度，而且它会以一个尽力估算的百分比给出结果——当然，这也是用 AI 做的。1 月，在 Reddit 和 YouTube 上流传着一种说法，认为作者 Mia Ballard 可能使用了 AI 来写作《Shy Girl》；这是一部自出版小说，后来被 Hachette 买下准备正式出版。尽管 Ballard 否认了这一点，Pangram 的 CEO 还是在 X 上发帖称，这本书有 78% 是 AI 生成的。Hachette 随后取消了该书的发行。
类似的指控接踵而至。《纽约时报》因刊登《Modern Love》专栏中一篇由 AI 生成的作品而受到点名；Pangram 评分：100%。接着又出现了一位 Commonwealth Short Story Prize 获奖者（100%）、小说《Daggermouth》（60%），以及一部名为《Call Me, I’ll Hide the Body》的惊悚小说，据称售价 240 万美元（97%）。7 月下旬，Substack 宣布将 Pangram 集成到其平台中，这样读者就能快速判断内容是否可能使用了 AI。
并非所有作者都认为这是件好事。作家兼出版业专家 Jane Friedman 说：“人们对 AI 检测软件有一种强烈的反感和愤怒。大家觉得它们跟 AI 公司本身一样坏，甚至更坏。”在出版界和高等教育之外，Pangram 还不是家喻户晓的名字，但我猜它很快就会是；随着时间推移，区分 LLM 批量生成内容与人类写作的需求只会越来越强。如今真正要问的是：这家公司到底有多值得信任？
我问 Spero 童年是在加州怎样长大的——这是一个很容易回答的问题，但他明显有些不自在。相比之下，讨论 Pangram 技术的细微之处，他显得自然得多；要么回答私人问题，要么谈公司卷入文学丑闻的事，都不那么顺手。Spero 吃了一口饭，说自己是在洛杉矶郊区 La Crescenta 长大的。他喜欢编程，还加入了学校的机器人队。斯坦福大学本科期间，他认识了 Bradley Emi，也就是他日后的 Pangram 联合创始人。（我多次通过电子邮件要求采访 Emi，但都被公司的公关团队忽略了。）毕业后，Spero 去了 Google，参与 FLoC 的工作；这项技术旨在用按兴趣对 Chrome 用户分组的方式替代第三方 cookie。（由于遭到隐私方面的担忧，Google 于 2022 年终止了 FLoC。）之后，Spero 为自动驾驶公司 Nuro 工作，而 Emi 则先后在 Tesla 和 AI 生物技术公司 Absci 任职。2022 年 ChatGPT 上线后，两人看到了一个商机：去应对一个充满 AI 内容的未来。2023 年，他们创立了 Checkfor.ai，第二年又把公司更名为 Pangram。到那时，至少已有十几家公司挤进了检测赛道，其中包括 Originality.ai、GPTZero 和 Turnitin；Pangram 在一些早期独立测试中表现出色，并脱颖而出成为领先者。
随着采访的进行，Spero 的回答显得有些断断续续，卡顿地停停走走，而且这不只是因为他在吃东西。我问起他的用人理念。Spero 先含糊地“嗯”了一声，随后连一句抱歉都没有，就转身去把食物放进微波炉。漫长的十五秒沉默过去后，他终于 снова 面对我，说：“Pangram 里的普通人之所以在这里，是因为他们关心这项使命。”
为了检测 AI，Pangram 使用一种叫作“synthetic mirroring”的方法：它先取人类写作，再让 LLM 生成一份高度相似的文本。这教会了它的模型 AI 是如何写作的。Pangram 还使用“hard negative mining”，在数据集中寻找误报样本，把这些样本进行 synthetic mirroring 后用于扩充训练集——也就是用错误来重新训练机器。Spero 说：“我们所有的数据集都经过了适当授权，我觉得这在今天的 AI 世界里算是相当少见的。”但这部分原因也在于，Pangram 的产品对数据的需求远没有 ChatGPT 或 Claude 那么大。“我不想把 AI 公司完全推到风口浪尖上，”他补充道，“但我认为它们已经失去了很多信任，尤其是在创意行业里。”如今，Pangram 面向多个行业，包括教育、法律领域和招聘，但创意写作仍然是训练文本中最大的部分。
“Shy Girl” 这篇故事让 Pangram 走入了公众视野。Spero 早就一直在自己的社交账号上指出疑似 AI 写作，因此当他在 1 月被一个 Reddit 帖子标记出来，随后又收到 Ballard 手稿的 PDF 时，并不令人意外。“我把它放进了 [Pangram]，我发了帖子，后来《纽约时报》又来找我评论，”他说。“我觉得人们夸大了 Pangram 在 ‘Shy Girl’ 事件中的重要性。”但事情并不是完全那样发生的。就像一场 AI 丑闻的“电话游戏”，最先与一位出版业分析师讨论这件事的是 Pangram 的一名客户经理，而这位分析师随后又把它带给了《纽约时报》。
还有一个转折：包括调查项目 The Drey Dossier 在内的 Pangram 批评者指出，Spero 手里的那份手稿来自一个盗版网站。当我问 Spero 这件事时，他说：“对。嗯，对……就是这样。我没仔细看。我没有把整个 PDF 都读一遍。我只是直接把它丢进了 Pangram。”
自那以后，Pangram 也并没有回避争议。在英联邦短篇小说奖（Commonwealth Short Story Prize）得主的作品被 Pangram 打出高分后，公司分析了自 2012 年以来的每一位获奖者，并指出另外三篇作品可能存在 AI 使用痕迹。尽管如此，Spero 仍淡化 Pangram 的影响，尤其是它在被取消的图书交易中的作用。“基本上，据我所知，几乎每一笔图书交易都并不是因为 Pangram 分数，”他说。“那只是其中一部分，但如果你去问任何相关人士，那也只是更大图景里很小、很小的一部分。”
我们继续来看 Pangram 与 Substack 的集成。Spero 说：“人们不应该害怕披露这一点，因为你的作品应该凭借自身的质量，以及人们无论如何都想读的东西而站得住脚……”他的话拖了下去。“嗯，我该怎么说呢？”他停顿了一下。“我想我……哦，我知道我前几天是怎么说的了。”他语气变得更自信，语速也加快了。“如果你的作品价值依赖于欺骗最终用户，让他们以为这不是 AI 写的，那么”——他又犹豫了一下——“那就会是个问题。”（后来我才意识到，他语调的变化是因为他在引用自己在 X 上发的帖子。）
Substack 不愿确认其与 Pangram 合作结构的任何具体细节，也不愿说明是否按每次扫描向该公司付费。“Substack 的理念并非反 AI，”一位代表告诉我。“我们只是认为，你应该知道自己在消费什么。”一些作者对此心存警惕。一位作者告诉我，感觉上，一个人的整个职业生涯都可能在点击一下按钮后被毁掉。
我联系了五大出版社，询问他们是否使用 AI 检测。Simon & Schuster 和 HarperCollins 拒绝置评；Hachette 和 Macmillan 没有回应。Penguin Random House 的一位发言人证实，其编辑可能会使用经批准的 AI 检测工具，“作为识别潜在 AI 生成内容的另一种手段”，但这类工具“并非决定性因素，只是更广泛编辑流程中的一个组成部分”。一些经纪人也在使用检测工具——而对于每一桩公开宣布达成的图书交易，其他一些交易则在幕后悄无声息地被终结。“通常，经纪人什么也不会说，”Friedman 说。
我想听听 Chakrabarty 的看法。2024 年底，他第一次从 Spero 的一篇帖子里听说 Pangram。注册后，Spero 给了他 API credits。Chakrabarty 告诉我，两人此后成了“很亲密的朋友”，而 Pangram 也持续向 Chakrabarty 提供 credits，以支持他的研究。Chakrabarty 会在社交媒体上发布 Pangram 的结果，并经常为这家公司辩护。他说，在一系列 AI 丑闻之后，他已经与出版社会面，讨论检测问题。“Pangram 不应该成为默认裁决，”他说。“但我认为，你自己的判断再加上 Pangram 的判断，不会出错。”
Chakrabarty 还与 Todd Shuster 维持着恋爱关系，后者是 Aevitas 的联席 CEO，这是一家纽约顶级文学经纪公司。Chakrabarty 促成 Shuster 与 Pangram 会面。“它立刻就成了一个非常有用的工具，”Shuster 告诉我。“很快，我们就不得不开始与[作者]进行艰难的对话，因为 Pangram 显示他们的作品中 AI 写作比例从 50% 到 95% 不等。”Shuster 现在使用 Pangram 来分析稿件和图书提案。他也为 Pangram 提供咨询，职责之一包括在 Pangram 与出版社之间牵线搭桥。当作者被质疑时，Shuster 说，有些人会表现得很防御，或者看起来在撒谎，而另一些人则会坦白自己使用了 AI。Shuster 说，他曾要求作者用他们自己的声音和想法重写作品。
批评者指出 Pangram 存在两个主要问题：误报造成的伤害，以及其机器学习中可能内置的偏见。爱丁堡纳皮尔大学（Edinburgh Napier University）批判性 AI 素养教授 Sam Illingworth 说：“我不认为[AI 检测器]有用。我认为这些检测器对某些人带有偏见。”一项研究表明，检测器更有可能把非英语母语作者的作品识别为 AI 生成，而神经典型差异写作者也声称，他们的写作模式会被不成比例地标记出来。（那项研究早于 Pangram 出现，Spero 指出，公司内部研究反驳了这一点。）前面提到的三部小说——《Shy Girl》、《Daggermouth》和《Call Me》，它们无疑是出版界最大的 AI 检测丑闻——都出自有色人种作家之手。（我联系了这些作者；两人没有回应，另一人以法律顾虑为由拒绝置评。）美国文学经纪人协会（Association of American Literary Agents）主席 Regina Brooks 说：“作为一名非裔美国经纪人，我确实认为我们真的需要关注行业内部的一些不平等问题。”毕竟，谁的作品会被扫描、谁会被公开指控，本质上都是一个人为过程，因此也容易受到偏见影响。尽管如此，批评者指出，Pangram 的存在并不能消除这一点，反而可能放大问题。实际上，关于哪一类作品更容易被扫描、谁更容易被公开点名，始终取决于人的判断，而这正是偏见最容易介入的地方。
在一些作家声称自己的作品被错误标记为 AI 生成的案例中，如果他们能证明那确实是自己写的，Spero 曾提出过现金奖励。“我在一些几乎可以肯定对方在撒谎的情况下提供过悬赏，”他说，“或者，如果他们没有撒谎，那么对我们来说知道这一点就非常有价值。”到目前为止，他说，还没有人接受这项提议。
“当然，你可以骗过 Pangram，”Chakrabarty 说。一些写作者通过修改文本，或故意写得像 AI，以诱发错误结果。圣母大学（Notre Dame）一篇题为《Why AI Detection Fails for Academic Integrity》的新工作论文指出，Pangram 的 3.2 模型在 64% 到 80% 的情况下，会把对学术摘要进行轻度 AI 编辑后的文本标记为 AI 写作。然而，在把 AI 生成文本通过一种 humanizer——一种让 AI 作品看起来更像人类写作的工具——处理之后，Pangram 识别出 AI 写作的比例不到 4%。
Pangram 确实披露，它的工具在较短文本块上的表现更差，尤其是少于 100 个单词的内容。考虑到 Pangram 的免费服务每天只提供有限数量的积分，总计大约 2,000 个单词，这一点就更成问题了。中位数输入长度为 350 个单词。该公司还承认，同一段文字，如果单独扫描，或放在更大的上下文中扫描，可能会得到不同的结论——而如果一段小说中的短摘录被复制并粘贴出来，这种情况正可能发生。
总的来说，Pangram 声称，在其新模型下，误报只会发生在 0.0041% 的情况下（相比此前公布的 0.01% 已有所改进）。不过，Spero 说，Pangram 的标准其实偏保守。如果文本处于边缘地带，这款工具会倾向于判定它是人类写作。“这是我们有意做出的选择，”Spero 说。这在一定程度上解释了它较低的误报率——同时也意味着，AI 生成的作品更有可能蒙混过关。按照 Pangram 的衡量标准，被 AI 大幅改写过的人类论文，仍有 41.37% 的时间会被检测为人类写作。
据记者、Pangram 前承包商 Rod Breslau 说，Spero “全天都在网上。他会回复你的推文；他会回复你在 Reddit 上的帖子。他大概也会回复你在 LinkedIn 上的帖子。” Breslau 在今年年初第一次联系 Spero，提出愿意担任一名“攻击犬（attack dog）”。他已经厌倦了看到 AI 内容淹没社交媒体。Breslau 为 Pangram 做的合同工作包括就其社交媒体策略提供咨询，以及为 Spero 安排采访，但他也会带着 Pangram 扩展程序浏览互联网，公开点名他怀疑使用了 AI 的用户。Breslau 说：“我想采取更强硬的方式，因为我觉得人们被放得太轻了。”
Pangram 与 Breslau 分道扬镳，部分原因在于公司改变了策略——如今公司预计，AI 的使用会变得更可被接受。Spero 似乎已经不再执着于追着每一个使用 AI 的人不放，但他说，如果写作者在“故意误导”，他会公开发声。他补充说，Pangram 很快将能够标记出即便只是轻度编辑、也使用过 AI 的情况。“这就是路线图，”Spero 说，“更高的粒度、更好的细节，为终端用户提供更多信息。” 据我所见，Pangram 最终想成为各个领域原创性判断的首选裁决者：出版商、学校，以及其他所有人。
目前，Spero 的小团队包括前教育工作者和一名前出版业从业者。（Pangram 发言人还指出，其中一名研究人员拥有英美文学学位。）据称，已有被指控的作者酝酿诽谤诉讼的迹象，但当被问及是否存在任何诉讼时，Spero 说：“我不认为有任何事情已经真正发生。” 他计划继续发布关于 Pangram 模型和训练的技术报告。“其他人基本上都是黑箱，所以我认为我们在这里的策略真的就是通过透明度来建立信任，尽可能保持开放，并尽可能多地在线上与社区互动。”
随着我们的对话接近尾声，我回想起 Spero 给人的印象并没有达到 100% 的投入程度，甚至有点谨慎。他在采访过程中在公寓里走来走去。他先把笔记本电脑带到客厅附近坐下，然后又移到一扇窗边，那里堆着一团杂乱的盆栽，接着又去了厨房的另一个角落。好几次，他的脸都半个画面外。后来他戴上耳机，又摘了下来。在讨论模型训练时，他还轻轻打了个嗝。
我没料到会这样。他只是忙累了？他没有把我当回事？还是铺天盖地的媒体报道让采访变得千篇一律——甚至令人厌烦？最终，我可以做出各种猜测，但任何人都只能从一小时的交流中判断出有限的信息。Pangram 的目标，是把一段沟通中的所有细微差别、变量和未知因素都提炼成一个数字。当然，人类远比这要模糊得多。
如果你对这篇文章有什么看法，请告诉我们。可发送读者来信至 mail@wired.com。
来源与参考
收录于 2026-09-03