穆斯塔法·苏莱曼：AI发展不会很快遇到瓶颈
MIT Technology Review AI··作者 Mustafa Suleyman
关键信息
语言模型的训练时间从2020年的8个GPU上167分钟缩短到如今不到4分钟——相比摩尔定律预测的5倍提升，实际提升了50倍。软件效率也在快速提高，固定性能水平下的计算需求每8个月就减半。
资讯摘要
穆斯塔法·苏莱曼解释了为什么人工智能发展不会很快放缓：自2010年以来，训练数据量增长了万亿倍，从10¹⁴次浮点运算跃升至超过10²⁶次。他驳斥了摩尔定律放缓或能源限制等常见质疑，指出硬件（如英伟达和Maia芯片）、内存（HBM3）和系统架构（大规模GPU集群）的结合显著提升了算力。
部署AI模型的成本每年下降高达900倍，全球AI算力容量预计将以每年近4倍的速度增长，到2027年将达到1亿个H100等效核心。这些因素的融合使得至少到2028年仍将持续指数级进步。
资讯正文
我们进化于线性世界。如果你走一个小时，会覆盖一定的距离；走两个小时，距离就翻倍。这种直觉在草原上非常有效，但在面对人工智能及其核心的指数级趋势时却彻底失效。
从2010年我开始从事AI工作至今，前沿AI模型所使用的训练数据量增长了惊人的1万亿倍——早期系统大约使用10¹⁴次浮点运算（计算的基本单位），而如今最大的模型已超过10²⁶次浮点运算。这是一个爆炸性的增长，AI领域的几乎所有进展都源于这一事实。
怀疑者不断预测会出现瓶颈，但每次都被这场代际计算能力的飞跃打脸。他们常提到摩尔定律正在放缓，也有人指出数据不足，或者能源限制等问题。
但当你审视推动这场革命的多种力量时，这种指数级趋势其实相当可预测。要理解原因，值得深入看看新闻标题背后复杂且快速变化的现实。
把AI训练想象成一间房间里有很多人拿着计算器。多年来，增加算力意味着往这间房里添加更多拿计算器的人。很多时候，这些工人只是坐在那里无所事事，手指敲着桌面，等待下一轮计算结果。每一次停顿都是浪费的机会。当前的革命不仅带来了更多更好的计算器（虽然确实如此），更重要的是确保所有计算器始终运转，并协同作为一个整体工作。
三种进步现在正汇聚在一起实现这一点。第一，基础计算器变得更快。Nvidia的芯片在短短六年间实现了七倍以上的性能提升，从2020年的312万亿次浮点运算跃升至今天的2250万亿次浮点运算。我们今年一月推出的Maia 200芯片，在每美元性能上比我们现有硬件中的任何其他设备高出30%。第二，得益于一种叫HBM（高带宽内存）的技术，数据传输速度加快，它像微型摩天大楼一样垂直堆叠芯片；最新一代HBM3将带宽提升到前代的三倍，足以让处理器始终满负荷运行。第三，原本只是房间里的计算器团队，演变成了办公室、整个校园甚至一座城市。像NVLink和InfiniBand这样的技术能把数十万块GPU连接成大型数据中心级别的超级计算机，它们作为一个单一的认知实体运作。几年前，这还是不可能的事。
这些进步共同作用，带来了显著更多的计算能力。2020年训练一个语言模型需要8个GPU耗时167分钟，如今同等硬件条件下只需不到4分钟。换算一下：摩尔定律预测在这段时间内仅能带来约5倍的改进，而我们实际看到了50倍的进步。我们从2012年AlexNet模型所需的两块GPU（该模型开启了深度学习的现代浪潮），发展到了今天拥有超过10万个GPU的大规模集群，每个GPU单独来看都远超其前辈的能力。
然后是软件领域的革命。Epoch AI的研究表明，达到固定性能水平所需的计算能力大约每八个月就减半，远快于传统摩尔定律中18到24个月翻倍的速度。一些近期模型的部署成本甚至在年度基础上下降了高达900倍。人工智能正变得极其廉价。
未来几年的数据同样令人震撼。以领先实验室为例，其算力规模每年增长近四倍。自2020年以来，训练前沿模型所用的计算量每年增长五倍。全球与AI相关的计算能力预计到2027年将达到相当于1亿个H100芯片的水平，三年内将增长十倍。把这些因素综合起来看，我们有望在2028年底前实现有效算力再提升约1000倍。到2030年，我们每年可能新增200吉瓦的算力——这相当于英国、法国、德国和意大利四个国家峰值用电量的总和。
这一切意味着什么？我认为它将推动从聊天机器人向接近人类水平的智能体过渡——这些半自主系统能够连续编写代码数日，执行长达数周甚至数月的项目，打电话、谈判合同、管理物流。别再想那些只能回答问题的基础助手了，而是想象一群AI工作者组成的团队，它们能讨论、协作并执行任务。目前我们才刚刚站在这一转变的山脚下，而它的影响远远超出科技领域。所有依赖认知工作的行业都将被重塑。
显而易见的制约因素是能源。一个冰箱大小的AI机架消耗120千瓦电力，相当于100户家庭的用电量。但这种需求正与另一个指数级趋势发生碰撞：过去50年太阳能成本下降了近100倍；过去三十年电池价格下降了97%。一条通向清洁能源扩展的道路正在清晰浮现。
资本已经投入，工程也在持续推进。价值1000亿美元的集群、10吉瓦的电力需求、仓库规模的超级计算机……这些已不再是科幻小说中的场景。美国乃至全世界现在已经开始动工建设这类项目。因此，我们正朝着真正的认知丰裕时代迈进。在微软AI部门，这正是我们的超智能实验室正在规划并构建的世界。
习惯线性思维的怀疑者将继续预测回报递减，他们仍会不断感到惊讶。算力爆炸是我们这个时代最核心的技术叙事，而且这仅仅是个开始。
独家：Niantic的AI衍生公司正在利用玩家提供的300亿张城市地标图像，训练一个新的世界模型。
Will Douglas Heaven档案页面
这家初创公司希望改变数学家们做数学的方式。
Axiom Math正在免费提供一款强大的新AI工具。但尚不清楚它是否能像公司所期望的那样加速研究进程。
Will Douglas Heaven档案页面
保持联系
获取麻省理工科技评论的最新更新
发现特别优惠、热门新闻、即将举行的活动等内容。
来源与参考
收录于 2026-04-09