衡量人们如何实际使用AI
MIT Technology Review AI··作者 Eileen Guo
关键信息
AI Observatory 发现，如果按 Anthropic 以工作为主的筛选方法，数据集中将有近一半对话会被过滤掉，而这些被排除的对话更可能涉及健康、关系、成人或非法话题、骚扰与仇恨，以及性内容。研究还发现，不同模型和不同时间段的使用模式差异明显；在 WildChat 中，对话变得更长、更复杂，更多寒暄暗示陪伴型使用在增加，而敏感交流则变少了。
资讯摘要
文章认为，Anthropic 和 OpenAI 等公司发布的 AI 使用报告虽然经常被引用，但外界无法独立核实这些数据。斯坦福 Trustworthy AI Research（STAIR）Lab 的研究人员 Anka Reuel 表示，目前没有独立来源可以对这些说法进行佐证。为填补这一空白，她共同领导了 AI Observatory，这是一个公共平台，使用七个在用户同意下收集的现有数据集，汇总并分析 Claude、Gemini 等模型的真实对话。该项目希望为研究人员和政策制定者提供更独立的依据，帮助判断生成式 AI 到底是如何被使用的。
AI Observatory 的早期结果显示，不同模型的使用方式差异很大，而且会随着时间变化。研究者指出，大型公司的报告往往更强调工作场景，而他们的数据却捕捉到了更多敏感或非工作类互动。例如，如果把 Anthropic 的筛选方法应用到 AI Observatory 的数据上，48% 的对话都会被排除，而这些被排除的聊天更可能涉及健康、关系、成人或非法话题、骚扰与仇恨，以及性内容。文章还提到，这些数据覆盖 2023 年到 2025 年的对话，一些模型呈现出更多寒暄、更长的对话和不同的敏感使用模式，其中 Grok 和 Gemini 更常被用于信息检索，而 Grok 尤其常用于新闻和政治相关信息，但也更容易聚集错误信息。
资讯正文
AI 公司如 Anthropic 和 OpenAI 会定期发布关于人们如何使用 Claude 和 ChatGPT 等产品的报告，但人工智能研究人员表示，它们只会公开自己希望我们看到的数据。
斯坦福可信人工智能研究（STAIR）实验室的计算机科学博士生 Anka Reuel 说：“没有独立来源可以证实这些数据。”
Reuel 是一项名为 AI Observatory 的新研究项目的共同负责人，该项目旨在填补这一空白。它是一个公共平台，汇总并分析了通过七个现有数据集、在用户同意下收集到的、与 Claude 和 Gemini 等热门模型的真实 AI 对话。其目的在于提供独立的信息来源，帮助研究人员和政策制定者评估人们如何使用生成式 AI。Reuel 说，当前关于 AI 利益与风险的许多影响重大的决策，都是在极为有限的数据基础上作出的。
AI Observatory 发现，不同模型之间的 AI 使用方式差异显著，而且这种使用方式随着时间也发生了变化。它的研究显示，许多敏感行为并未被大型 AI 公司发布的报告所捕捉；这些报告据称更侧重工作用途，而非个人用途。
Anthropic Economic Index 是最知名、引用最广泛的 AI 使用数据来源之一，但它也有盲区。顾名思义，它聚焦于 Claude AI 在工作和生产力相关场景中的使用——会过滤掉与这些用途无关的对话。
研究发现，只有 30% 的消费者使用与工作相关。）
Anthropic 也曾单独发布博客文章，介绍人们如何使用 Claude 获取支持或陪伴，甚至用于生成 CSAM，但奥斯汀德克萨斯大学助理教授 David Widder 说，拥有“[AI Observatory 的] 全景式分析”，而不是把这些信息“分割到另一份单独报告中”，有助于研究人员更一致地理解不同用途。Widder 研究人们如何与 AI 系统互动，但并未参与 AI Observatory 项目。
AI Observatory 研究的这些数据集涵盖了 2023 年至 2025 年间发生的对话，研究发现，人们使用 AI 的方式以及不同 AI 平台的回应方式都存在差异。
AI Observatory 研究中纳入的最大、最详尽的数据集之一 WildChat 显示，随着时间推移，其中的对话变得更长、更复杂，提示词 token、回复 token 以及对话轮次的数量都在增加。
闲聊也明显变多了。这表明 AI 陪伴性在增强；与此同时，AI 助手自我披露身份——也就是承认自己是聊天机器人的情况——则减少了。
此外，研究人员标记为敏感的交流，即包含潜在有害或受限内容、包括性骚扰和仇恨言论的交流，出现频率变低了。这可能表明，各个平台总体上正在部署更有效的防护措施。
AI Observatory 还发现，不同模型之间在话题、互动风格、对话结构，以及敏感使用场景发生的可能性和类型方面都存在差异。
例如，研究人员发现，人们更常使用 Grok 和 Gemini 来进行信息检索。尤其是 Grok，在新闻和政治信息方面特别受欢迎，但也正是在那里，错误信息往往最为集中。（这与其他研究一致，这些研究表明，错误信息在 Grok 上传播得有多么迅速。xAI 没有回应置评请求。）
与此同时，人们更可能转而使用 Anthropic 进行编程，用 Gemini 进行社交和角色扮演用途，以及用 ChatGPT 帮助完成作业。
即便是同一模型的不同版本之间，也存在差异。研究人员发现，当 ChatGPT 由 GPT-3.5 驱动时，人们的对话更短；而当它由 GPT-4o 驱动时，对话则更长、也更具迭代性——这很合理，因为那个版本后来以会导致情感成瘾而闻名。
不过，公司的报告往往并不能捕捉这些差异，无论是在不同模型之间，还是在同一模型内部。“没有任何一家公司的报告能讲清全部故事，”与 Reuel 共同领导这项研究、现为 MIT Media Lab 博士毕业生的 Shayne Longpre 说。
为了创建 AI Observatory，Reuel 以及来自 MIT、Stanford、Data Provenance Initiative 和其他机构的研究人员，汇总了此前研究中收集的 7 组真实世界数据集中的 24,521 次对话，共计 85,633 个对话轮次（也就是用户提示及对应的 AI 回复）。这些对话来自 5,000 名用户，他们在 2023 年至 2025 年间与 52 个不同模型互动，包括 ChatGPT、Gemini、Claude 和 Grok。
但与大型实验室自己能够接触到的数据相比，这些对话无异于沧海一粟。例如，最新的 Anthropic Economic AI Index 就是基于对 100 万段 Claude 对话的分析；OpenAI 关于人们如何使用 ChatGPT 的报告则分析了 150 万段对话。
一位 Anthropic 代表表示，公司发布的研究反映的是研究团队各自具体的问题和兴趣，同时支持外部独立研究也很重要。OpenAI 没有回应置评请求。
AI Observatory 的数据集来源于自愿提供的数据，这意味着它很可能低估了敏感用途，因为人们可能不太愿意分享这类内容。因此，研究人员提醒，其发现并不能代表所有 AI 使用情况。
不过，这个项目确实扩大了研究界的获取渠道。AI 公司通常不会分享自己的聊天数据供分析，这意味着他们的报告往往会聚焦于那些最能为自己加分的发现，独立研究人员如 Reuel 和 Widder 说。
Widder 解释说：“当我们想问，例如：Anthropic 的通用 AI 系统……主要是被用于做好事还是作恶……我们没有办法回答这个问题，因为那类信息是专有的。”
AI Observatory 的数据将向研究人员开放用于分析，团队也希望随着时间推移扩充其数据集。理想情况下，Reuel 说，AI 公司会以保护用户隐私的方式，与独立研究人员共享他们的数据。当然，但就目前情况而言，她说，任何基于 AI 使用数据做出决策的人，都有风险“完全是在野外运作，并在不了解公司叙述之外实际发生了什么的情况下，做出这些真正影响重大的决定。”
来源与参考
收录于 2026-08-19