据报道 OpenAI 大幅降低访客版 ChatGPT 推理成本

关键信息

报道没有说明 OpenAI 采用了哪些具体技术，也没有给出优化前需要多少 GPU。此次收益只针对功能受限的访客用户，因此目前还不清楚同样的节省效果能否扩展到完整产品。

资讯摘要

不过，文章并没有说明底层到底做了哪些改动，也没有披露优化前的 GPU 占用规模有多大。报道同时指出，访客用户只能使用 ChatGPT 的一小部分功能，因此这种节省未必能直接推广到完整产品。

整体来看，这被描述为一次重要的效率提升，但不一定会立刻减少行业对芯片的总需求。相反，这类节省更可能让 AI 实验室在扩容、改进模型或承接更多流量时拥有更大的缓冲空间。

资讯正文

据报道，OpenAI将ChatGPT访客用户的响应成本削减了一半以上

据一位熟悉相关讨论的人士向 The Information 透露，OpenAI 工程师在本月早些时候告诉同事，他们已经将推理成本——即运行现有 AI 模型的开销——削减了一半以上。

OpenAI 将这些新优化应用到了 ChatGPT 上，具体针对的是没有账号的访客用户。为这些用户提供服务所需的 Nvidia GPU 数量已经降至仅几百块。目前还不清楚此前需要多少块，也不清楚 OpenAI 采用了哪些技术来实现这一点。访客用户只能使用非常有限的一组 ChatGPT 功能，因此这些改进能否扩展到完整产品，仍是一个未知数。

Deepseek 也刚刚发布了一种新的开源方法，可将推理请求速度提升 60% 到 85%。被释放出来的资源可以用于扩大服务规模、改进模型、提升响应速度，或提高利润率。不过，由于数据中心扩建推进缓慢，这类收益很可能只是让实验室拥有更大的缓冲空间，而不会削弱对芯片的需求。

来源与参考

1. 原始链接
2. OpenAI reportedly cut response costs for guest ChatGPT users by more than half