Cloudflare称网页正走向按爬取付费
The Decoder··作者 Matthias Bastian
关键信息
Prince 表示，目前数据还比较粗略，但自动化流量上升的趋势已经非常明确，而且在过去几个月里加速明显。Cloudflare 去年夏天推出了 Pay Per Crawl 平台，让网站所有者可以限制 AI 爬虫并对访问收费，但目前尚未真正普及；公司还在继续构建支撑大规模使用所需的协议和基础设施。
资讯摘要
Cloudflare 首席执行官 Matthew Prince 表示，互联网已经到达一个重要转折点：机器人流量已经超过人类流量。他说自己原本预计这一临界点要到 2027 年底才会出现，但由于 AI agent 带来的自动化流量快速增长，时间表被大幅提前。Prince 表示，这种变化是在过去几个月里发生的，虽然当前数据还比较粗糙，但趋势已经非常明显。按照他的说法，这一变化足以改变人们对网页运行方式的理解。Prince 还提到，bot、crawler 和 agent 这几个词常常可以互换使用，只是看待它们的角度不同，褒贬意义也不同。
展望未来，他认为网页显然会走向“按爬取付费”的模式。Cloudflare 去年夏天推出了一个平台，让网站所有者可以控制 AI 爬虫并对访问收费，但目前采用情况并不理想。Prince 表示，Cloudflare 仍在继续开发支撑未来规模所需的协议和基础设施。文章还提到，Google 的 AI Overviews 和 AI Mode 已经拥有数十亿用户，说明 AI 驱动的系统正在迅速成为网页访问的重要入口。
资讯正文
Cloudflare 首席执行官表示，随着机器人流量超过人类流量，网络的未来将是“按抓取付费”。
据 Cloudflare 首席执行官 Matthew Prince 介绍，机器人流量已经超过了互联网中的人类流量。Prince 说，他原本预计这一拐点要到 2027 年底才会到来，但来自 AI 智能体的自动化流量快速增长，让这一时间线大幅提前。这个变化发生在过去几个月里。Prince 补充说，数据仍然比较粗略，但这一趋势已毋庸置疑。
Prince 指出，bot、crawler 和 agent 指的其实是同一回事；至于使用哪个标签，只取决于你把它们看作是好是坏。谈到网络的未来，他写道：“显然，未来会是按抓取付费。”
Cloudflare 去年夏天推出了一个平台，允许网站所有者对 AI 爬虫设置门槛并对访问收费，但该平台并未真正流行起来。Prince 说，公司仍在努力开发“支持它所需规模的协议和基础设施”。与此同时，Google 的 AI Overviews 和 AI Mode 已经积累了数十亿用户。
来源与参考