Cloudflare 推出归因业务洞察
Cloudflare AI··作者 Oliver Payne
关键信息
Cloudflare 表示，这个仪表板重点提供更细粒度的爬取数据，包括过去 24 小时、7 天或 30 天的模式分析。公司将该产品定位在“爬取到引流”失衡的问题上，认为一些 AI 爬虫会以很高频率抓取内容，却几乎不回传有意义的访问量。
资讯摘要
Cloudflare 表示，原创内容仍然是互联网的基础，但网站所有者越来越难以控制流量，并从自己发布的内容中获得报酬。公司认为，虽然有些机器人流量明显是恶意的，但更难的问题在于判断 AI 爬虫是在帮助业务，还是只是在提取价值。为了解决这个问题，Cloudflare 发布了 Attribution Business Insights，这是一款面向业务决策者和出版商的仪表板。该产品旨在为网站所有者提供更清晰、更可靠的数据，帮助他们把有价值的流量和有害流量区分开来。
Cloudflare 将这次发布放在不断变化的互联网经济背景下，认为网络正从传统的 SEO 时代转向 AEO，现在又进入 GEO 时代。公司称，过去搜索引擎与出版商之间的旧有交换关系已经被削弱，因为 AI 系统越来越多地直接概括内容，却不把读者带回原始来源。Cloudflare 还表示，它观察到一些主要 AI 爬虫的爬取到引流比例极端失衡，在 2025 年“Content Independence Day”前后，这一比例从 118:1 到接近 50,000:1 不等。Cloudflare 想传达的核心信息是：网站所有者有权控制自己的内容访问，并应当借助数据来决定哪些爬虫值得放行。
资讯正文
原创内容是一切对话和好奇心的命脉。设想一个没有原创内容的世界：我们或许能找到一千种方式去重复已经创作过的同样材料，但新想法和新论点的衰退将会显而易见。
网站所有者为创意、新闻和有趣零碎信息的生态系统提供动力，但他们面临着一个日益复杂的挑战：既要管理流向自己网站的流量，又要为自己的内容获得报酬。虽然有些机器人流量显然具有恶意，但某个特定的 AI 爬虫究竟是在帮助还是在损害你的业务，这并不总是一目了然。要回答这个问题，网站所有者需要细致、可靠的数据，以区分那些带来价值的流量，以及那些消耗资源、同时侵蚀其商业模式根基——真实的人类在消费其内容——的流量。
在 Cloudflare，我们持有一个核心信念：网站所有者有权控制其内容的访问权限。我们希望帮助网站所有者维护高质量内容，并规范 AI 流量。
为了提供急需的清晰度，并帮助网站所有者重新掌握控制权，我们很高兴宣布推出全新的 Attribution Business Insights 仪表盘——它是专为商业决策者和出版商设计的。
互联网的新经济学
几十年来，互联网的商业模式建立在一种简单而默认的约定之上：网站所有者允许搜索引擎抓取其内容，而作为回报，搜索引擎会把读者带回这些网页。这种共生关系中，传统搜索引擎以相对平衡的“抓取到引流”比例运作，带来了维持广告、联盟收入和订阅所需的页面浏览量。搜索索引爬虫通常每向你发送一次引荐流量，就会扫描你的内容好几次，因此，让你的网站对爬虫开放，会有一条清晰的收入增长路径。我们可以把这称为 SEO（搜索引擎优化）时代。
而今天，AI 爬虫和智能体的爆发式增长打破了这一契约，将数字出版行业推入前所未有的危机之中。互联网正面临转向“零点击”生态系统的风险：AI 聊天机器人抓取原创内容并即时合成答案——完全绕过原始来源。我们已经看到，世界正在从仅靠 SEO 的模式明显转向 AEO（答案引擎优化）模式，如今关于 GEO（生成式引擎优化）的讨论也正成为焦点。
这种新现实中的失衡，可以从我们如今在互联网上看到的抓取到引流比例中清楚体现出来。传统搜索引擎的抓取与真实引荐访客之间比例更为平衡，而主要 AI 爬虫的运作规模则截然不同，且具有掠夺性。我们观察到，领先 AI 公司旗下的机器人呈现出一系列抓取到引流比例：在 2025 年 Content Independence Day 前后，我们记录到的比例从 118:1 到接近 50,000:1 不等。换句话说，一个 AI 爬虫可能为了仅仅送回一位访客，就把你的优质内容抓取了数万次。这种比例从根本上是不公平的。
对于出版商来说，这会造成双重打击：首先，他们失去了用于资助内容创作和新闻工作的关键引荐流量、广告展示量以及与受众直接建立关系的机会。其次，他们还被迫承担不断上涨的基础设施成本，用来托管和向自动化机器人提供内容，而这些机器人并不会带来任何商业价值。那个为了被发现而还值得放行所有爬虫的时代，已经结束了。
介绍 Attribution Business Insights
我们希望网站所有者掌握事实——那些冷冰冰、硬邦邦的数据，以便了解哪些机器人正在帮助他们的业务，哪些机器人正在损害它。我们也希望让这项分析比以往任何时候都更容易，这就是我们设计 Attribution Business Insights 的原因：它尽可能减少噪音，专注于客户告诉我们最重要的细节。
今天，Attribution Business Insights 仪表盘已向所有 Cloudflare Bot Management 客户开放。这个新仪表盘旨在为流向您网站的机器人流量提供有针对性的视图；不同于可能需要大量手动筛选的传统分析工具，这个仪表盘会立即为您提供关键洞察。
我们着手回答当下网站所有者最迫切的问题：您应该如何看待网站上的 AI 流量？不同受众——包括人类、非 AI 机器人以及 AI 机器人——分别有什么价值？最重要的是，您的数据正被用于什么用途？
新的 Attribution Business Insights 仪表盘视图包含关于整体机器人流量、全站爬取与引荐比率，以及 AI 机器人流量与自然流量分布的洞察。
为了回答这些问题，仪表盘展示了一组强大的数据和洞察：
内容页面的机器人流量：查看总体机器人与人工流量，以及所有成功访问内容的机器人的流量规模。
爬取与引荐比率：按 24 小时、7 天或 30 天的尺度查看全站爬取与引荐比率。您还可以按机器人运营方（即拥有一个或多个机器人的公司）查看各自的爬取与引荐比率。
顶级机器人细分：按流量规模列出顶级机器人，并显示其来源国家、它们在您网站上占用的带宽，以及您当前是在阻止还是允许它们。
基于爬虫行为更新的分类：我们不再只用笼统的“AI Crawler”标签，而是通过更新后的分类体系对爬虫进行归类，无论是 Training（即训练下一代 LLM 聊天机器人）、Search（即为 Retrieval-Augmented Generation 刷新数据库），还是 Agent（即用于 agentic interaction，以向终端用户返回答案）。
从数据到商业策略
您不应该非得是安全专家，才能理解 AI 爬虫如何影响您的业务。如果网站所有者只花几分钟吸收这些高层级洞察，就能清楚地判断其内容安全策略的有效性。
对于那些希望进一步挖掘、了解 AI 公司如何使用其内容——或者收集信息，以指导自己希望与 AI 公司建立何种关系的人——我们提供了一个按机器人运营方组织的、更细粒度的视图。
网站上的机器人活动分解，其中列出了每个机器人的一些重要细节，例如类型、爬取到转介流量的比例，以及当前操作。
通过对试图访问您网站内容的公司进行汇总视图，您可以建立更好的爬虫活动基线。我们希望这些数据能够帮助我们的客户在任何商业沟通中都能有事实作为支撑。告诉 Company1，他们的爬取量是 Company4 的 20 倍，而且 Company4 现在已经为内容向您支付费用。根据 Company2 最近的活动，重新审视他们对您内容的授权方式。这个新的仪表板推动了商业对话继续向前发展。
这个新的可见性层如何与您现有的、用于保护网站免受滥用的工具结合起来？与 Bot Management 的其他功能一致，实际采取动作的步骤仍然发生在 Security rules 中。为了避免给控制平面增加噪音，Attribution Business Insights 旨在成为一个用于经过深思熟虑、经过筛选的分析的枢纽，而不是另一个采取行动的地方。这个仪表板作为一个中心信息源，使您可以先进行调查，然后再在同一个规则引擎中采取行动，而该规则引擎也负责管理其他滥用缓解措施。我们还想明确并大声地邀请业务决策者进入这个仪表板，承认围绕 AI 流量的对话涉及的利益相关方，不仅仅是专门从事安全工作的用户。
下一步是什么
Attribution Business Insights 仪表板是为网站所有者提供所需透明度和控制力的下一个关键步骤，帮助他们管理不断演变的 AI 机器人威胁，并更广泛地塑造互联网的新动态。我们已经在与紧密的出版合作伙伴一起调查下一代方案，以创建一个可见性平面，从网站所有者的视角覆盖安全，并让有价值的原创内容得以共享。
下面的一个抢先预览包括一个新视图，用于按文章拆解爬虫活动，揭示 AI 公司对不同内容、不同活动等的兴趣。
按流量规模划分的最受欢迎文章分解。显示关键指标，例如 AI 机器人流量、其他机器人流量与人工流量，以及直接访问和来自转介的流量。
可见性只是第一步，后续还会有更多功能，帮助网站所有者在这个新时代掌控自己的内容。我们鼓励所有 Cloudflare Bot Management 客户——尤其是那些正在推动商业对话的客户——今天就访问这一功能，以全新的方式查看分析数据。
来源与参考
收录于 2026-07-02