Cloudflare推动AI爬虫向出版商付费

关键信息

Cloudflare表示，混合用途爬虫如果把搜索、代理和训练合并在一起，将在带广告的网站上默认被阻止；公司还指出，许多爬取其实是在重复抓取未变化的页面。Cloudflare也在把此前的 Pay Per Crawl 扩展为 Pay Per Use，首批合作伙伴包括 Ceramic.ai 和 You.com。

资讯摘要

Cloudflare 为 AI 行业设定了一个新期限，要求区分用于传统搜索的网页爬虫与用于 AI 训练和代理式服务的爬虫。公司表示，从 2026 年 9 月 15 日起，其默认设置将阻止“混合用途”爬虫抓取带广告的网页。该规则将适用于新的 Cloudflare 客户、现有客户新建的网站，以及所有现有免费用户，除非站点所有者自行调整配置。Cloudflare 认为，这样可以让网站所有者更好地控制内容在 AI 时代如何被访问。公司指出，许多出版商希望内容既能被搜索引擎发现，也能被 AI 服务使用，但不希望自己的知识产权被无偿拿走。Cloudflare 还表示，当前互联网流量中非人类流量已经占据多数，生态系统需要变得更可持续。

公司特别把这一做法与全球最大的搜索引擎作了对比，称谷歌之所以比其他 AI 公司拥有更多信息访问权，是因为它把可发现性与 AI 使用绑定得更紧。谷歌此前回应称，站点可以使用 Google Extended 来选择不参与训练和部分 AI 产品，同时仍保留在 Search 中；不过，Googlebot 仍会为 Search 以及 AI Overviews、AI Mode 等功能抓取网页。Cloudflare 还在推出更多面向出版商的变现工具，包括此前的 Pay Per Crawl 市场。这个产品现在正在演进为 Pay Per Use，允许出版商在内容创造价值时收费，而不仅仅是在内容被抓取时收费。Cloudflare 表示，这也可能减少带宽和计算资源浪费，因为其数据表明，AI 爬虫流量中有超过一半是在重复抓取未变化的页面。为了把这一模式落地，Cloudflare 先与 Ceramic.ai 和 You.com 合作；出版商选择加入后，当内容出现在 Ceramic 的 AI 搜索结果中，或当 You.com 访问其付费内容时，就可以获得报酬。

资讯正文

Cloudflare 刚刚为 AI 行业设定了一个新期限，要求其将用于传统搜索目的的网络爬虫（例如 Google Search）与用于 AI 智能体和训练的爬虫区分开来。Cloudflare 于周三宣布，从 2026 年 9 月 15 日起，其默认设置将阻止任何托管广告的页面上的“混合用途”爬虫。

这意味着，那些同时用于搜索、智能体使用和训练的爬虫，默认将被禁止抓取这些网站，除非网站所有者另外调整设置。该公司表示，这些默认设置的变化将适用于新的 Cloudflare 客户、现有客户新建的网站，以及所有现有的免费用户。

这一举措可能会影响 AI 模型提供商获取网络内容用于训练，以及支撑其智能体服务的方式。

Cloudflare 指出，大多数网站所有者希望自己的内容能够通过搜索被发现，也往往希望能通过 AI 服务被发现，但他们同样希望有保护措施，防止自己的知识产权被免费拿走。

Cloudflare 特别点名了“世界上最大的搜索引擎”（显然是在指 Google！），称由于这家搜索巨头让客户在不被用于 AI 的情况下保持可发现性变得困难，它获得了大约“2 倍更多的信息”，相比之下其他 AI 公司则没那么容易获得这些信息。

Google 过去曾对这种概括提出反驳，指出其提供了一个名为 Google Extended 的机器人，让网站所有者可以选择不让其内容被用于训练以及 Gemini Apps 和 Vertex API 等 AI 产品和服务。启用该选项不会影响网站被纳入 Google Search。不过，这家科技巨头的旗舰爬虫 Googlebot 仍会为 Search 抓取内容，其中包括 AI Overviews 和 AI Mode 等 AI 功能。

Cloudflare 联合创始人兼 CEO Matthew Prince 在宣布这一消息时表示：“现在，互联网流量的大多数已经不是人类，我们必须进一步行动并加快步伐，才能让一个可持续的生态系统出现。”他指的是最近一个里程碑：机器人首次在网络流量中超过了人类流量。原本预计这种转变要到明年才会发生。

Prince 说：“Cloudflare 的新工具和合作伙伴关系为网站所有者提供了更高的可见性和商业机会，也让那些拥有意图明确、透明的机器人的 AI 公司受益。我们希望，我们提出的默认设置变更能促使混合用途爬虫将搜索与智能体使用和训练分离开来。”

虽然 Cloudflare 提供了多种产品，帮助用户部署自己的 AI 系统，但公司也推出了一系列工具，让出版商在 AI 时代对其内容拥有更多控制权。近年来，Cloudflare 推出了用于对抗 AI 机器人的工具，其中包括一个允许网站向抓取内容的 AI 机器人收费的市场，名为 Pay Per Crawl。

该产品如今也在演变为“Pay Per Use”，公司表示，这将允许出版商在其内容创造价值时向 AI 公司收费，而不仅仅是在内容被抓取时收费。

这一变化还可能帮助出版商节省带宽和计算资源，因为 Cloudflare 的数据显示，AI 爬虫的抓取流量中有超过 50% 都花在了重新抓取未发生变化的页面上。

为将这一点付诸实践，Cloudflare 最初正在与两个合作伙伴合作，分别是 Ceramic.ai 和 You.com。当出版商选择加入后，只要其内容出现在 Ceramic 的 AI 搜索结果中，或者 You.com 访问了其部分付费内容，他们就能获得报酬。

Cloudflare 表示，其他 AI 公司也可以根据自身的工作方式定制这一模式。

来源与参考

1. 原始链接
2. Cloudflare's new policy pushes AI companies to pay for publishers' content | TechCrunch