大型 AI 公司支持统一 AI 抓取退出信号
The Verge AI··作者 Emma Roth
关键信息
Microsoft 表示其控制项将区分退出 AI 训练和退出 AI grounding，而网站仍会出现在 Bing 搜索结果中；Google 也提供过类似控制。这个信号本身并不能保证公司一定遵守 robots.txt，也不会自动为出版商提供补偿。
资讯摘要
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一种统一标准，让出版商能够选择退出 AI 抓取。该提案由 Anthropic 负责标准事务的技术负责人 Kevin Kelley 通过 Internet Engineering Task Force，也就是 IETF，提出。统一政策令牌将写入网站的 robots.txt 文件，这是一种长期用于告知网络爬虫哪些内容可以或不可以访问的机制。目前，出版商通常必须分别向每家 AI 公司表达是否允许使用内容进行 AI 训练。
此次宣布正值出版商越来越担心 AI 爬虫收集其内容并用于模型开发之际。其他应对方式包括允许出版商向爬虫收费的 Really Simple Licensing 标准，以及默认拦截 AI 爬虫的 Cloudflare。相关公司表示，如果 AI 爬虫遇到这一统一令牌，就会限制对网站的访问；不过 Meta 只表达了支持，并未明确承诺一定遵守。Microsoft 还计划提供区分 AI 训练和 AI grounding 的细粒度设置，而 Google 和 Microsoft 表示这些偏好不会影响网站在普通搜索结果中的可见性。
资讯正文
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，出版商可以利用该标准选择不让自己的内容被抓取；Search Engine Roundtable 此前对此进行了报道。通过这一控制机制，出版商可以一次性向多家 AI 公司表达其 AI 训练偏好，而不必分别进行设置。
这一共享的“策略令牌”（policy token）信号由 Anthropic 的标准技术负责人 Kevin Kelley 提出，是互联网工程任务组（IETF）相关工作的一部分。它将存在于网站的 robots.txt 文件中。长期以来，该文件一直用于标示哪些网络爬虫可以或不可以抓取网站，无论抓取目的是搜索索引、存档还是 AI 训练。目前，各网站必须分别向每家 AI 公司表达其 AI 训练偏好。
这项公告发布之际，出版商正努力应对持续涌入、抓取其网站并将内容输入 AI 模型的 AI 爬虫。一些公司和组织已经尝试打击未经授权的抓取行为。Really Simple Licensing（RSL）标准让出版商能够向访问其网站的爬虫收费，而 Cloudflare 则默认拦截 AI 爬虫。
OpenAI、Google、Microsoft 和 Anthropic 表示，如果 AI 爬虫发现这一共享令牌，它们将限制爬虫访问相关网站。Meta 通信负责人 Andy Stone 也表示支持这一新设置，但没有说明公司是否会遵守该设置。Stone 说：“我们认为，创建一种能够同时向多家服务提供商传达此类偏好的通用信号，是重要的一步。我们也期待与其他 AI 公司合作，推进相关标准，并在整个行业内落实这些标准。”
Microsoft 表示将提供更细粒度的控制，让出版商能够选择不将内容用于 AI 训练或 AI grounding。后者是指引导 AI 模型参考经过验证的信息来源，以减少幻觉的过程。Microsoft 指出，无论网站作出何种偏好设置，其内容仍会出现在 Bing 的搜索结果中。Google 此前已经实施了类似控制机制，允许网站控制其内容是否出现在 AI 搜索功能中或被用于 AI 训练，同时不会影响其在搜索结果中的可见性。
Anthropic 已经采用这一信号，Google 和 Microsoft 计划于明年开始支持该信号。OpenAI 表示将在“未来几个月内”实施这一标准。
来源与参考
收录于 2026-10-31