企业采购AI算力快于测算成本

关键信息

只有 21% 的受访者表示他们已经在大规模生产环境中运行 AI，而 83% 表示 GPU 利用率为 50% 或更低。不到一半，也就是 44%，能够严格追踪 AI 算力成本，且 64% 计划在 12 个月内更换或新增基础设施供应商。

资讯摘要

VentureBeat 的 Pulse Research 报告认为，企业正在进入一轮 AI 基础设施支出周期，但对其背后的经济性还远远算不清。该调查覆盖 107 家组织，大多数 AI 工作负载目前仍运行在超大规模云厂商和模型提供方的 API 上，但下一轮预算正在转向专用算力和 AI 专用云。尽管如此，只有 21% 的受访者表示他们已经在生产环境中大规模运行 AI。报告显示，未来一年最主要的评估方向是 AI 专用云，占比 45%，而这一层基础设施目前几乎没有被这些企业采用。报告把这种不匹配称为“算力缺口”，意思是企业买基础设施的速度，已经快于他们看清成本和使用效率的能力。

在效率方面，83% 的受访者表示 GPU 利用率不超过 50%，说明很多昂贵硬件并没有被充分使用。只有 44% 的企业能够严格追踪 AI 算力成本，这意味着不少团队并没有清晰的单位经济性视角。企业在选择供应商时，主要看与现有技术栈的集成能力和总拥有成本，而不是表面上的 token 单价。供应商更换意愿也很高，64% 的企业计划在一年内更换或新增基础设施供应商，其中 38% 甚至计划在一个季度内行动。报告还指出，随着推理规模扩大，下一项关键约束可能会从 GPU 算力转向内存带宽，但大约五分之一的企业要么还没意识到这一点，要么尚未采取应对措施。

来源与参考

1. 原始链接
2. The AI compute gap: Enterprises are buying infrastructure faster than they can measure what it costs