Content Independence Day, one year on- building the business model for the agentic Internet
Cloudflare AI··作者 Emily Lanfear
资讯摘要
One year ago, we declared Content Independence Day. At the time, we could see what many in the industry were beginning to sense: the fundamental economics of the Internet were shifting. AI adoption was accelerating, publishers were experiencing rapid declines in referral traffic, and AI companies were crawling the web at unprecedented scale, often without clearly declaring intent, and almost always without compensation. We changed the defaults. For all new domains on Cloudflare, AI training crawlers would be blocked by default unless domain owners chose otherwise. We didn't do this to wall off the web.
资讯正文
一年前，我们宣布了“内容独立日”。当时，我们已经能看出业内许多人开始感受到的变化：互联网的根本经济模式正在发生转变。AI 的采用速度正在加快，出版商的引荐流量出现迅速下滑，而 AI 公司以前所未有的规模爬取整个网络，往往没有清楚说明意图，而且几乎总是没有给予报酬。
我们改变了默认设置。对于 Cloudflare 上所有新域名，AI 训练爬虫将默认被阻止，除非域名所有者选择允许。我们这样做并不是为了把网络围起来。我们这样做，是因为我们相信，一个更健康的生态系统需要透明度、控制权、稀缺性，并最终需要一个能够让高质量内容被公平估值和交易的市场。
一年后，这个市场已经出现。但互联网的转型发生得甚至比我们预期的还要快。在这份报告中，我们分享若干关键数据点，以说明互联网的商业模式变化得有多快，以及这个新的内容市场对出版商和网站所有者意味着什么。
第一部分：互联网已经改变——比任何人预期的都更快
垂直式采用曲线
AI 不只是又一次技术周期。它是一次平台迁移，其采用速度超过智能手机普及速度的 2 倍以上。仅在 3.5 年内，全球超过 30% 的人口——25 亿活跃用户——已经开始 नियमित 使用生成式 AI。采用曲线不只是陡峭：它正在垂直上升。
开放网络的衰落
人类与信息互动、开展工作以及在线花费时间的方式，从未像现在这样迅速变化。
人们使用互联网的方式正在发生剧烈变化。如今，在每在线花 1 小时搜索信息的时间里，只有 15 分钟花在开放网络上。随着用户转向由 AI 驱动的发现和消费，传统搜索行为正在崩塌。用户不再访问多个网站去查找和比较信息，而只是输入一个提示词，便会收到几乎即时的、整合后的答案。
Agentic Internet 已经到来
今年，agent 流量首次跨越了一个历史性门槛：如今互联网中超过 50% 的流量已不再来自人类。这一变化对出版商、内容所有者以及开放网络的未来都具有极其深远的影响。
爬虫已经改变了它们的目的
如果从 Cloudflare 按用途识别的爬虫来看，爬虫流量的构成清楚地讲述了这一变化：
截至 2026 年 6 月，52% 的爬虫请求用于 AI 训练，高于 2025 年春季的 22%。
混合用途爬虫（即同时混合搜索、agent 使用和训练的爬虫）占活动的 36% 以上。
纯搜索爬取如今只占整体爬虫活动中很小且仍在下降的份额，尽管它对于出版商的可见性仍然至关重要。
随着 AI 训练正成为爬虫活动的主要驱动力，区分“发现”与“训练”的能力变得愈发重要。混合用途爬虫模糊了这一界限，使内容所有者陷入两难：要么在智能体时代保持可被发现，要么无偿交出自己最有价值的内容。
旧有的商业模式已经消失
几十年来，开放网络的经济模式一直很简单。内容创作者用对其内容的访问权限，换取在搜索引擎中的曝光，而搜索引擎则带来引荐流量。这样的流量成为出版商、创作者和企业创造经济价值的主要机制。
但如今，这种交换正在瓦解。内容仍然会被抓取、索引并使用——只是越来越少能把相应流量返回给源头。随着 AI 系统直接回答问题、比较产品、开展研究并完成任务，开放网络上的信息越来越多地成为 AI 训练和检索系统的一部分。由此带来的生存性问题很简单：如果内容在受众从未访问源站的情况下就被消费，内容创作者该如何维持生计？
其影响并不局限于某一行业
最早感受到冲击的是新闻机构和媒体公司。如今，类似的动态正在影响零售、软件、IT 和金融等行业。一些被爬取最严重的类别，在不到一年的时间里，人类流量下降幅度高达 40%。
许多出版商现在正在为他们所谓的“Google Zero”做准备——也就是几乎没有流量或完全没有流量来自搜索引荐的世界。
这种影响几乎延伸到每一个行业。任何在互联网上发布专有信息的组织，都需要理解如何在智能体时代运作。这一动态不仅关系到内容所有者，也关系到我们所有人。互联网是全球经济的重要组成部分，也是全球最重要的信息展示公共资源之一。确保它保持健康和可持续，对所有人都至关重要。
第二部分：市场已经出现
我们所构建的
当我们推出 Content Independence Day 时，我们承诺做三件事：
为网站所有者提供透明度和控制权，使他们能够定义其内容如何被访问和变现。
提供创造稀缺性的工具，把权力平衡重新拉回内容所有者一方。
打造一个市场，让各种规模的内容创作者和 AI 公司都能更高效地发现、授权并确定内容价值。
一年之后，一个可变现内容的市场已经出现，动态市场形成的条件也正在成熟。
透明度和控制权创造了稀缺性
从历史上看，出版商对 AI 公司如何访问和使用其内容几乎没有可见性。随着引荐流量下降，这种缺乏可见性的问题逐渐演变成经济问题，促使出版商寻求新的方式来捕获价值。
Cloudflare 的归因、商业智能和执法工具，让出版商能够在网络层面看见 AI 的消耗情况——这是一种比 robots.txt 这类自愿标准有效得多的执行机制。出版商首次能够判断自己的内容是如何被访问和变现的。这种控制创造了稀缺性，并推动了一个供需驱动的内容经济。
稀缺性创造了筹码
那些对访问实施控制的出版商成功创造了稀缺性，从而获得了谈判筹码，并达成了更好的交易。出版商首次获得了运营层级的归因数据——包括 LLM 尝试访问其内容的频率、哪些竞争性 LLM 正在抓取、哪些 URL 最受欢迎，以及抓取与引荐的比率如何。这减少了许可谈判中的信息不对称，使出版商能够在掌握更多信息的情况下进行谈判。
筹码正在改变力量平衡
这种筹码增强了我们客户的能力。随着他们越来越清楚地看到 AI 系统如何访问和使用其内容，他们也更能理解这对业务的影响，并更有信心地阐述他们所建立的信息、品牌和受众的价值。
随着内容所有者与 AI 公司之间的力量平衡开始变化，一个许可经济正在形成：
自 2023 年以来，已有 50 多项出版商与 AI 公司的协议签署。
大型 AI 公司如今正在积极获取内容许可，并越来越认识到差异化内容和优质内容的价值。
集体许可模式持续出现并扩大规模。
大型出版商正在达成有实质意义的许可协议，这表明内容在 AI 生态系统中具有真实的经济价值。
讨论的焦点已不再是内容是否应该得到补偿。现在的问题是，如何补偿。
市场正在成熟，但低效率仍然存在
早期的许可协议证明了需求的存在，但如今的许可在很大程度上仍是定制化的，而且不太可能完全取代流失的推荐、广告和联盟收入。因此，出版商越来越倾向于在优化 AI 消耗的同时兼顾传统的人类发现路径，并探索新的变现方式。
供需之间仍然难以高效匹配，而且尽管人们已经意识到并非所有内容都具有同等价值，内容估值问题仍未解决。
Google 融合问题
如果不提及 Google 的独特角色，这个市场的讨论就不完整。Google 仍然是在线发现的主导入口，约占引荐流量的 88%。但越来越多地，Google 正在帮助用户直接在 Google 拥有的 AI 体验中消费内容。
“发现”和“消费”服务于截然不同的目的。搜索把用户带到内容页面，而由 AI 驱动的体验则越来越多地对内容进行概括和复用，而无需用户访问原始来源。网站所有者会以不同方式看待这些活动，因为前者会带来流量，而后者则越来越多地替代流量。
这些差异在网站所有者决定谁可以访问其内容以及出于何种目的访问时，尤其重要。大多数领先的 AI 公司会将发现爬虫与训练爬虫分开，这使出版商可以相对简单地只针对某一目的开启内容访问权限。而 Google 并非如此。如今，Google 获取的信息量大约是领先 AI 公司可获取信息量的 2 倍，因为 Google 采用的是一种混合用途机器人，这使得客户若想参与 Google 的搜索生态系统，就很难不同时参与 Google 的 AI 生态系统。
与其他 AI 提供商不同，Google 的这种混合用途爬虫也限制了网站所有者的透明度。由于发现和 AI 访问被合并到一个爬虫中，出版商无法判断 Google 访问其内容的原因，也无法区分用于搜索的流量和用于 AI 体验的流量。他们也失去了通过在网络层面独立允许或阻止这些活动而获得的可见性和证据。
这种态势加速了市场对更高透明度和控制权的需求，也推动了新的变现模式，以更好地服务内容所有者以及各种规模的 AI 公司。
第三部分：对生态系统的独特视角
Cloudflare 处于新兴 agentic 经济的交汇点。
超过 20% 的互联网内容位于 Cloudflare 网络之后。全球访问量最高的网站中有 36% 依赖我们的网络，且 Fortune 500 中超过 40% 的公司都是 Cloudflare 客户。近 80% 的领先 AI 公司使用 Cloudflare，此外还有数千名开发者和新兴 AI 公司。
这一独特位置让我们能够同时观察市场的两端。我们看到内容所有者在创建内容，AI 公司在消费这些内容，而连接二者的信号也在不断增加。正是这种视角，让我们得以独特地审视过去一年市场如何演变，以及它如今需要什么。
第四部分：来自新兴市场的经验
随着出版商和 AI 公司适应新的 agentic 经济，Cloudflare 对当前生态系统的需求有了更清晰的认识。
透明度必须成为标准
内容所有者日益需要了解并控制谁在访问其内容、这些内容如何被使用，以及出于何种目的被使用。AI 公司也日益认识到，透明度有助于建立信任，并减少与出版商之间的摩擦。可见性和执行能力不再只是安全问题——它们已经成为直接影响授权谈判和商业决策的业务要求。
为帮助让透明度成为标准，Cloudflare 正持续投资于增强版署名归因、衡量工具和出版商控制功能，以便让内容所有者更清楚地了解并控制其内容如何被访问和使用。
随着行业向更高透明度转变，我们认为，可验证的机器人自我识别以及抓取意图声明，是可持续生态系统的基础。如今，我们网络上超过三分之一的爬虫活动仍然来自混合用途机器人，这使得内容所有者无法区分抓取意图。我们正在积极与整个生态系统接触，并投资相关工具，帮助在明年此时将这一数字降至零。
更好的 AI 需要更好的信号
在过去一年里，越来越清楚的是，AI 公司需要的不只是内容访问权限。它们还需要更好的方式来判断应访问什么、何时访问，以及内容更新得有多频繁。无差别抓取会浪费 AI 公司的算力，并给发布商带来不必要的带宽负担，从而降低整个生态系统的效率。
我们相信，更好的答案需要更好的智能。我们正在投资具有更高信任度、质量和相关性的实时新鲜度信号，帮助 AI 公司发现差异化信息，同时减少全网范围内不必要的抓取。
市场需要先有更好的发现，再有更好的定价
我们认为，更好的发现必须先于更好的定价。要让市场走向成熟，发布商和 AI 公司需要更好地了解彼此。我们正在投资更丰富的市场情报、内容信号以及提升生态系统双方互相发现能力的功能，为未来更可扩展的市场机制奠定基础。
第五部分：为 agentic Internet 构建基础设施
一年前，Content Independence Day 提出了一个简单的想法：内容所有者应当对 AI 公司如何访问和使用其信息拥有更大的控制权。
在过去十二个月里，这种控制权催生了一个市场。透明度创造了稀缺性，稀缺性创造了议价能力，议价能力加速了授权。曾经关于 AI 与内容未来的理论讨论，如今已变成一个活跃的市场，发布商、AI 公司和技术提供商都在适应一套新的经济现实。
这个市场现在正进入一个需要新基础设施的新阶段。随着 Internet 日益具备 agentic 特征，支撑它的底层系统也必须演进，以便大规模处理权限、授权和商业交易。内容所有者和 AI 公司都需要更高效的方式来连接并交换价值。我们认为，这些能力将汇聚成可编程、可扩展的内容发现与变现机制——在减少摩擦的同时，释放更丰富的价值交换形式。
Cloudflare 的角色是构建基础设施和商业智能，并为相关标准的制定作出贡献，从而让市场更高效地判断价值，帮助发布商和 AI 公司参与到一个更健康、更具活力的内容经济中。
互联网一直在不断演进。这种演进比大多数变化都更快，也更具影响力。但只要有合适的基础设施、合适的激励机制，以及对透明度的承诺，我们相信，智能体互联网可以变得更可持续、更高效，并且更有利于所有人。
方法论：
本报告中的数据汇编自 Cloudflare Radar 和 Cloudflare Investor Day 2026 Presentation。
Cloudflare Radar 是一个展示全球互联网流量、攻击以及技术趋势与洞察的中心。Radar 由 Cloudflare 全球网络的数据驱动而成，旨在帮助任何人从安全、性能和使用情况的角度理解互联网正在发生什么。
Cloudflare 对互联网的独特理解来自其全球网络——这是全球最大的网络之一，覆盖 100 多个国家和地区的 330 多个城市——以及来自 Cloudflare 的 1.1.1.1 公共 DNS 解析器的聚合和匿名化数据。1.1.1.1 被广泛用作一种快速且私密的上网方式。超过 20% 的网络位于 Cloudflare 的网络之后。
来源与参考
收录于 2026-07-02