Cloudflare CEO：网页正走向“付费抓取”
The Decoder··作者 Matthias Bastian
关键信息
Cloudflare 去年夏天已经推出了一个按抓取付费的平台，允许网站所有者限制 AI 爬虫并对访问收费，但 Prince 表示这项服务尚未真正流行起来。他还说，Cloudflare 仍在建设支持这种规模流量所需的协议和基础设施。
资讯摘要
Cloudflare 首席执行官 Matthew Prince 说，互联网已经跨过了一个重要门槛：机器人的自动化流量如今超过了人类流量。按他原先的判断，这个拐点要到 2027 年末才会出现，但 AI 代理的快速增长把时间表大幅提前了，而这种变化主要发生在过去几个月里。Prince 承认目前的数据还比较粗略，但他认为趋势已经非常明确。他还指出，bot、crawler 和 agent 这些词本质上可以互换，区别只在于人们把这些流量看作有益还是有害。在他看来，网页的未来“显然”会走向“付费抓取”。
Cloudflare 去年夏天推出了按抓取付费的平台，让网站所有者可以阻止 AI 爬虫，或者向其收费。尽管如此，Prince 说这项产品目前还没有真正获得市场 traction。与此同时，Cloudflare 仍在开发支持这种规模所需的协议和基础设施。作为背景，Google 的 AI Overviews 和 AI Mode 等 AI 服务增长迅速，Prince 说它们已经拥有数十亿用户。
资讯正文
Cloudflare 首席执行官表示，随着机器人流量超过人类流量，网络的未来将是“按抓取付费”。
据 Cloudflare 首席执行官 Matthew Prince 介绍，机器人流量已经超过了互联网中的人类流量。Prince 说，他原本预计这一拐点要到 2027 年底才会到来，但来自 AI 智能体的自动化流量快速增长，让这一时间线大幅提前。这个变化发生在过去几个月里。Prince 补充说，数据仍然比较粗略，但这一趋势已毋庸置疑。
Prince 指出，bot、crawler 和 agent 指的其实是同一回事；至于使用哪个标签，只取决于你把它们看作是好是坏。谈到网络的未来，他写道：“显然，未来会是按抓取付费。”
Cloudflare 去年夏天推出了一个平台，允许网站所有者对 AI 爬虫设置门槛并对访问收费，但该平台并未真正流行起来。Prince 说，公司仍在努力开发“支持它所需规模的协议和基础设施”。与此同时，Google 的 AI Overviews 和 AI Mode 已经积累了数十亿用户。
来源与参考
收录于 2026-06-05