Cloudflare 为 AI 爬虫加入细粒度控制
The Decoder··作者 Matthias Bastian
关键信息
Cloudflare 表示，像 Googlebot 这类同时承担搜索和训练任务的多用途爬虫，将按适用的最严格规则处理。企业客户还将获得 BotBase，这是一个可搜索的机器人数据库，可展示每个爬虫的分类以及其如何使用内容；而旧的“已验证”标签也将不再单独保证访问权限。
资讯摘要
Cloudflare 正在把原先针对 AI 爬虫的单一全局拦截政策，改为按用途划分的更细粒度控制。自 2024 年 7 月以来，Cloudflare 客户就可以一键屏蔽所有 AI 爬虫，但新方案把它们分成了三个类别：搜索、训练和代理。搜索对应正常的搜索引擎索引，训练对应用于 AI 模型训练的数据收集，代理则指代替用户执行任务的机器人，例如类似 ChatGPT 的助手。Cloudflare 表示，这些新控制对免费版用户也可用。自 2026 年 9 月 15 日起，带广告的页面将默认阻止训练和代理爬虫，但搜索爬虫仍会被允许。公司认为，广告表明发布者希望页面主要面向人类访问，而不是被自动化系统重复利用。
对于同时承担多个用途的爬虫，Cloudflare 表示会按最严格的规则处理。Cloudflare 首席执行官 Matthew Prince 之前多次要求爬虫运营方按用途拆分抓取行为，并批评 Google 把搜索爬虫和 AI 爬虫捆绑在一起。Cloudflare 还提到，2026 年 6 月机器人流量首次超过人类流量，这一时间点比 Prince 先前预期的要早。面向企业客户，Cloudflare 还推出了 BotBase，一个可在仪表盘中搜索的机器人数据库，可显示每个爬虫的分类，以及它如何使用内容，包括只是链接到页面还是完整复现页面。与此同时，Cloudflare 也在收紧“已验证机器人”规则，验证标签本身不再足以自动放行，是否允许访问还取决于机器人类别以及运营方是否诚实、是否滥用获得的访问权限。
资讯正文
Cloudflare 用更细粒度的控制取代了其一刀切式的 AI 机器人屏蔽，覆盖搜索、训练和代理爬虫
Cloudflare 为所有客户提供了新的工具，用于控制 AI 机器人如何访问他们的网站。
自 2024 年 7 月以来，Cloudflare 客户就可以通过一次点击屏蔽所有 AI 爬虫。现在，网站所有者不再只能选择全面封锁，而是可以在三类之间进行选择。Search 涵盖搜索引擎索引；Training 涵盖用于 AI 模型训练的数据收集；Agent 涵盖代表用户行事的机器人，比如 ChatGPT。
从 2026 年 9 月 15 日起，在带有广告的页面上，Training 和 Agent 机器人将默认被屏蔽，因为广告表明网站希望吸引的是人类访客。Search 爬虫仍将被允许访问。像 Googlebot 这样同时用于搜索和训练的多用途爬虫，将按照限制更严格的规则处理。新的选项同样向免费套餐用户开放。
Cloudflare 正在推动机器人运营方按用途拆分爬虫。Cloudflare 首席执行官 Matthew Prince 此前曾点名批评 Google 将其搜索爬虫与 AI 爬虫捆绑在一起。Prince 在 2026 年 6 月指出，机器人流量首次超过了互联网中的人类流量；他原本预计这一里程碑要到 2027 年底才会出现。
新的机器人数据库为企业提供更细粒度的控制
对于企业客户，Cloudflare 还推出了 BotBase，这是一个可搜索的已知机器人数据库，直接内置在仪表盘中。它会显示每个机器人如何被分类，以及它如何使用内容——是只链接到页面，还是完整复制页面。
Cloudflare 也在调整已验证机器人的规则。此前，所有已验证机器人都会被自动放行。今后，机器人所属的类别将决定它是否能获得访问权限。“Verified”标签本身将不再足够：机器人运营方需要证明他们如实表明了身份，并且不会滥用所获得的访问权限。
来源与参考
收录于 2026-07-07