AI 智能体正在成为网络的第二类受众

关键信息

Cloudflare 将反复获取信息或执行用户任务的智能体，与收集内容用于训练模型的爬虫区分开来。这些数据来自 Cloudflare 自身网络的流量观察，而且该公司在销售自动化请求识别、控制和商业化基础设施方面存在商业利益。

资讯摘要

Cloudflare 认为，互联网如今出现了第二类主要受众，即代表人类行动的 AI 智能体。该公司称，其处理的平均流量已从 2024 年底的每秒 6300 万次 HTTP 请求增至 1.15 亿次，峰值超过每秒 1.5 亿次，而 AI 智能体的每日请求量在一年内增长了 1700% 以上。与传统机器人不同，这些智能体可能根据用户指令研究商品、比较保险报价、预订餐厅或购买数据。与此同时，答案引擎可以读取发布者的网页并直接向用户提供摘要，不再把用户引导至原始网站，导致发布者承担带宽和计算成本，却无法获得推荐流量、广告展示或订阅收入。

Cloudflare 表示，零售、计算机软件、IT 服务和金融服务等被大量抓取的行业，在不到一年内的人类访问量降幅最高达到 40%。尽管 Cloudflare 此前主张新域名默认屏蔽 AI 训练爬虫，但它现在认为全面封锁过于粗放，因为一部分自动化访问者实际上代表真实客户。该公司提出的发展方向是让网站能够识别不同类型的智能体、设定访问条件，并对有价值的资源收费，而不是把所有非人类流量一概视为应当拦截的机器人。

资讯正文

在互联网发展的大部分历史时期，只有一个受众群体在为它买单：人类。我们阅读文章、浏览广告、购买订阅。机器人一直存在，但它们大多是大型自动化操作，不会浏览广告，不会购买任何东西，也不会以任何有意义的方式阅读内容。

这种情况正在迅速改变。2024 年底，Cloudflare 平均每秒处理 6300 万个 HTTP 请求。如今，这一数字几乎翻了一番，达到 1.15 亿个，峰值超过 1.5 亿个。在过去一年里，我们网络上来自 AI 代理的日请求量增长了 1700% 以上。今年，互联网流量首次有超过一半并非来自人类。

人类网络并没有缩小来为其腾出空间。第二类受众与它并存出现了：代理，也就是代表人类采取行动的软件。它们处于人类与传统机器人之间。它们不会对广告做出反应，但其背后通常都有一个需要完成某项工作的真人。对于那些学会服务代理并从中获取价值的企业来说，代理带来的是增量价值；而对于做不到这一点的企业来说，代理则是在攫取价值。

我们的客户需求并没有改变：被发现、讲述精彩故事、打造出色体验，以及销售。改变的是，如今你超过一半的访客已经是软件。我们的工作就是帮助你同时服务这两类受众。

流量更多，收入更少

三十年来，网络依赖于一种安排运行：你允许搜索引擎抓取网站，它们向你发送访客，而你把这些访客转化为一项业务。被找到和获得收入曾经是一回事。

AI 打破了这种脆弱的平衡。如今，答案引擎会读取页面，然后向读者提供摘要。这会消耗网站的带宽，却不会把人类带到那个能够展示广告或完成付款的网站。机器仍在不断涌入，而那个曾经为网络买单的受众却不再触达这些网站。一些被抓取最频繁的类别——例如零售、计算机软件、IT 与服务以及金融服务——的人类流量在不到一年的时间里下降了最多 40%。

结果是，每个请求带来的收入正在下降，而成本却在上升。每一个自动化请求仍然会消耗带宽、计算资源和源站容量，而越来越多的请求既不带来引荐，也不产生广告展示，更不会带来订阅。我们最初的本能是屏蔽所有自动化流量。去年，我们建议新域名屏蔽 AI 训练爬虫，这样网站所有者至少可以拒绝自己的内容被用于构建模型。2025 年春季，我们看到的爬虫请求中有 22% 用于 AI 训练（根据爬虫自称的用途判断）。到 2026 年 6 月，这一比例已经达到 52%。问题在于，对于当下正在构建的互联网经济而言，一概说“不”并不是足够细致的做法。

服务代理的机会确实存在。做对了，你就会站在一种全新商业模式的最前沿。然而，如果做错了，结果将与那些在搜索引擎算法变更中站错位置、最终遭殃的历代网站一样。

其中一部分流量就是客户

代理为研究人员预订餐桌、比较保险报价，或购买数据集时，它就是客户。只不过这个客户不是人类。

自动化流量中增长最快的部分已经不再是爬虫，而是代理：代表人们获取网页的软件，通常是因为人类向聊天机器人询问了某个问题。这类代理流量遵循人类的行为规律，呈现每周节奏，并在暑假期间出现低谷。拒绝一个代理，你可能就是在拒绝派它前来的人。

代理的行为方式也不同于训练爬虫。训练爬虫收集你的页面来构建模型；代理则会在每次有人询问相关内容时再次访问。因此，这类流量的增长取决于人们提出了多少问题，而不是你发布了多少内容。

你无法与一个看不见、无法区分、无法设定规则、也无法收费的受众做生意。直到最近，对于网络上大多数非人类流量而言，这四件事都无法做到。

看清究竟是谁在访问

“AI 机器人”这个说法已经不再有实际意义。重要的是机器人做了什么。Cloudflare 的 AI Crawl Control、Business Insights 和 BotBase 能让网站所有者了解是谁在抓取内容、抓取了什么、哪些内容会返回，以及它们最想访问你网站上的哪些 URL。

只有当你能够信任一个机器人的名称时，这个名称才有价值。通过 Web Bot Auth，包括 OpenAI、Google 和 AWS 在内的运营方会对其代理发出的请求进行加密签名，这样网站无需根据 IP 地址或 user-agent 字符串猜测，就能辨别真实代理和冒名者。我们每周看到的经过验证的机器人请求超过 5000 亿次。

设定你的规则

今年 7 月，我们用独立的 Search、Agent 和 Training 控制项取代了原先单一的“屏蔽 AI 机器人”开关；这些控制项现已面向所有套餐开放，包括 Free 套餐。数据说明了为什么需要做出这种区分。在 Cloudflare 上，屏蔽搜索爬虫的网站不到 1%，而屏蔽训练爬虫的网站占 17%。网站所有者从来不是想要隐藏自己。但随着代理流量的兴起，以及代理使用信息的新方式出现，他们突然无法看清自己的内容被如何使用，也无法对此作出选择。被发现不再意味着能够获得报酬，而他们希望在不被利用的情况下被找到。

对于混合用途的爬虫来说，这一点尤其困难。当一个机器人同时承担搜索和训练任务时，拒绝其中一种用途就意味着同时拒绝另一种用途。9 月 15 日，我们推出了 Disallow AI Training。它会让你继续出现在搜索索引中，同时利用针对爬虫的机制，指示运营方不要将你的数据用于训练。Apple、Google 和 Microsoft 已承诺遵守这一指令。Cloudflare Radar 也会公开追踪爬虫行为。

现在，新域名会根据网站的盈利方式，而不是根据访问它的软件类型，看到相应的推荐配置。对于依靠广告支持的网站，你可以轻松禁止训练，并在展示广告的页面上屏蔽代理，因为广告只有在有人看到时才会带来收益。你可以随时更改这些设置。

获得报酬

2026 年 8 月，我们将正在构建的 Agentic Internet 描述为可读、可发现、可调用且可付费。最后一个词——“可付费”——决定了开放网络能否实现自我供养。网络需要一种表达“可以，但前提是你付费”的方式，而不是只能在“可以”和“不可以”之间二选一。

授权市场既展现了需求有多大，也暴露了其中的缺口。自2023年以来，已有超过50项出版商与AI公司的交易签署。几乎所有交易都是量身定制的双边协议，由大型出版商与大型AI公司之间达成。它们证明了内容具有价值。但这些交易覆盖不了大多数互联网内容，也触及不到大多数买家。

并非所有资产都应该以同一种方式出售。高价值内容和数据集需要一个可信的网络，在这个网络中，买家的身份得到确认，并且买家需要报告其使用这些内容的方式。API和MCP工具等服务则不是这样运作的：每一次请求本身就是一次使用。

因此，我们正在同时为这两种情况构建解决方案。

按使用付费（Pay Per Use）能够触达直接授权无法覆盖的网站。大多数出版商永远不可能与每一家AI公司分别达成定制交易，而任何一家AI公司也不可能与数百万个网站逐一谈判。按使用付费就是连接两者的桥梁。它不会因抓取而收费，而是在内容确实被使用时付费。每个买家都是经过验证的爬虫，这正是它成为可信网络的原因；同时，每个买家都自行定义什么算作使用，以及愿意为此支付多少费用。

出版商可以看到这项报价，自主选择是否加入，并且在这项安排不再对自己有利时随时退出。买家报告每次使用情况，Cloudflare核验这些报告，然后向买家收费并向出版商付款。报告的重要性不亚于付款本身。出版商能够看到哪些内容被使用、何时被使用以及自己获得了多少收入；如果买家提供相关报告，出版商还可以了解哪些问题促使用户找到并使用了自己的作品。授权交易很少会展示这些信息。它形成了一个反馈循环：出版商能够了解人们实际在询问什么，并据此决定报道哪些内容、更新哪些内容，以及哪些内容应当方便智能体获取。

“使用”不会只有一种定义。搜索引擎引用一个来源、研究智能体引用一段文字，以及购物智能体完成一次购买，创造的是不同类型的价值，而每种情况都会希望采用自己的商业模式。买家可以通过同一套基础设施参与多种商业模式，出版商无需进行新的集成。以一本面向船舶工程师的行业期刊为例：它只有几千名订阅者，几乎没有可能达成AI授权交易，但凡是参与其中并使用其内容的AI公司，都需要向它付费。

变现网关（Monetization Gateway）捕获了那些过去从未有途径实现价值交换的价值。账户、API密钥和订阅机制适用于你已经认识的客户，却不适用于一个想要从此前从未使用过的服务中查询一次的智能体。我们的封闭测试版允许符合条件的美国Cloudflare客户，使用他们已经熟悉的Rules语言，为任何经过我们系统的内容或请求设定价格。当某条规则匹配时，我们会使用开放的x402协议返回HTTP 402 Payment Required响应，由智能体直接向卖方付款。

这不仅仅是挽回流失的收入。智能体本身就是客户：无论一次请求构成完整购买，还是只是更大任务中的一个步骤，它们都会为自己使用的数据、API和工具付费。

互联网拥有第二受众

Monetization Gateway 按请求、查询或 token 计费，采用固定价格或设定价格上限。一个依靠广告运营的体育统计网站，可以在智能体每次询问“谁领跑联赛助攻榜？”时收取几分之一美分。我们宣布 Monetization Gateway 后，数千家卖家加入了候补名单，而他们最常提出的要求是：“向智能体收费，而不是向人类收费。”我们自己也是第一批客户。Cloudflare 的 AI Gateway 使用 Monetization Gateway，让智能体能够为推理付费，这样我们就能在客户遇到问题之前，先发现其中的棘手之处。

对于买家而言，这两款产品都优于拦截页面：它们提供可靠的访问方式，也让买家能够触达数百万个网站，而不必每次都单独签订许可协议或申请 API 密钥。每个付费请求都会留下收据，显示购买了什么以及费用已经支付。

Pay Per Use 和 Monetization Gateway 都是与客户基于共享基础设施共同构建的押注，这些基础设施包括身份、计量、定价、结算和分析。两者可以协同工作，因此出版商能够在一个控制面板中禁止训练、允许搜索、从 AI 回答中获利，并按文章向智能体收费。定价和发现机制尚未得到解决，这也是两款产品都以 beta 版本发布，并根据真实客户和真实交易不断调整的原因。

让每个请求都更便宜

支付是应对收入下降的答案。成本上升则是另一个问题，其中很大一部分其实只是浪费。大多数爬虫仍在反复下载为人类设计的网页，只为提取几段文字。爬虫经常抓取那些自上次尝试以来根本没有变化的网站。这会消耗网站的带宽和爬虫的计算资源，而且发生在生成任何回答之前。我们正在与客户和爬虫开发者合作，打造能够改善这一状况的工具。如今，你可以在我们的控制面板中查看每个运营方所使用的带宽消耗量。

今年 7 月，我们宣布与 OpenAI 开展一项联合研究项目。这是一项首创的试点项目，旨在探索如何利用 Cloudflare 全球网络中的洞察，帮助 AI 搜索引擎更高效、更有效地发现并索引开放网络上的相关内容。我们计划在未来几周分享初步结果。

对于我们的客户，我们正在推出工具和一键式功能体验，让他们的网站针对这种新型流量进行优化。Markdown for Agents 让智能体无需加载那些专为人类视觉设计的额外样式即可阅读页面；WebMCP 则让网站能够直接公开操作，而不是让智能体去猜该按哪个按钮。

为什么构建在 Cloudflare 之上

超过 20% 的互联网位于 Cloudflare 的网络之后，全球领先的 AI 公司中也有近 80% 使用该网络。我们同时看到了这个市场的两面。我们为可见性、身份、控制和结算搭建基础设施，让市场自行决定这些东西的价值。

旧的交易模式已经消失，新的模式仍在书写之中。我们可以共同塑造接下来会发生什么。

一种模式是：少数几家公司掌控智能体如何发现内容、证明身份并付款，其他所有人都必须通过它们进行连接。另一种模式是：这些环节采用任何人都能实现的开放标准，任何规模的网站都可以设定自己的条款并获得报酬。我们更倾向于后者。

这就是为什么这些基础设施层采用 x402 和 Web Bot Auth 等开放标准，让任何人都可以在其上构建。域名所有者可以选择自己的身份提供商、支付处理商以及代理合作伙伴。Cloudflare 是其中一种选择，而不是整个技术栈。

几十年来，互联网一直由访问它的人来付费。如今，代表他们访问互联网的软件也可以承担自己应付的那一份。

来源与参考

1. 原始链接
2. The Internet has a second audience