孩子仍然比AI更会学语言
MIT Technology Review AI··作者 Elise Cutts
关键信息
文章称，前沿模型可能要在预训练中使用数万亿个 token，例如 Meta 的 Llama 3.1 使用了 15 万亿个 token，而儿童到青春期前可能只听到大约 1 亿个词。文章还指出，如果可轻易获取的互联网文本耗尽，数据可能在 2030 年代成为瓶颈。
资讯摘要
文章开头指出，人类至少已经交谈了10万年，但长期以来，只有人类儿童能够把一种语言学到近乎完美的流利程度。随着 ChatGPT、Claude、DeepSeek 和 GPT 等大语言模型出现，这种“会说话”的能力在机器身上也部分实现了。尽管如此，文章强调，这些系统仍然需要极其庞大的训练数据，远远超过儿童习得母语所需的数据量。斯坦福大学认知科学家 Michael C. Frank 被引用说，近年来进展惊人，但为了复现孩子在家庭环境中一年内完成的语言学习，AI 仍然像是在“烧掉一片森林”般消耗数据。文章把这种差距称为“数据效率鸿沟”。
它认为，理解这一鸿沟对AI和认知科学都很重要，因为AI主要靠不断扩大数据和模型规模进步，而认知科学则想知道儿童如何用如此少的数据学会语言。文中提到，Meta 的 Llama 3.1 在预训练中使用了 15 万亿个 token，并警告前沿模型未来可能需要更多数据，但互联网中可轻易获取的文本终究有限。相比之下，在语言丰富的家庭中，孩子到青春期前可能只听到约 1 亿个词，如果把识字也算进去，到20岁也许能达到 3 亿个词。文章最后指出，从儿童语言学习中汲取经验，可能帮助研究人员构建更高数据效率的模型，例如用于视频理解和少数语言聊天机器人，同时也有助于回答“语言是天生本能还是经验产物”这一长期争论。
资讯正文
据我们目前所知，人类彼此交谈至少已经有10万年了。而在这漫长的时间里，世界上只有一种东西能够学会一门人类语言，并达到近乎完美的流利程度：人类儿童。
如今，有两种了。
在 ChatGPT 发布短短四年后，我们中的许多人如今已把这样一种能力视为理所当然：可以自然地与手机或电脑交谈。像 Claude、DeepSeek 和 OpenAI 的 GPT 模型这样的 LLM，已经足够流利、灵活，能够令人信服地伪装成人类。但若透过这层计算的帷幕往里看，问题就来了：教计算机使用人类语言，仍然需要非人类数量的数据。一个 LLM 可以轻松吞下比一个人在掌握母语过程中所接触到的词语多出十万倍的内容——也远远超过孩子们在一岁生日前可能听到的量；通常到了那个时候，他们才开始真正抓住语言。
“最近的进展非常惊人，”斯坦福大学认知科学家 Michael C. Frank 谈到 LLM 时说，“但我们仍然必须烧掉一片森林，把整个人类知识的总和都刮取出来，才能重新创造出这个在我们客厅里一年之内就会发生的里程碑。”
孩子与机器之间这道巨大的鸿沟，被称为数据效率差距。它既向认知科学家提出了一个引人入胜的问题，也给 AI 模型的设计者带来了挑战：为什么孩子们竟然还能胜过有史以来最精于语言的机器？
找到答案对 AI 研究和认知科学都至关重要。在过去十年里，语言模型的进步主要靠变得更大。Meta 的开源权重 LLM Llama 3.1 于两年前发布，它在预训练阶段——也就是模型在针对某个具体任务（比如充当聊天机器人）进行微调之前所经历的主要训练步骤——消耗了 15 万亿个 token（类似词语的语言片段）。乔治城大学认知科学家兼语言学家 Ethan Gotlieb Wilcox 说，前沿模型在预训练时可能会使用多出 10 倍的数据。但可供训练的互联网内容毕竟有限，最终——也许早在 2030 年代——容易获取的数据源可能会枯竭。
孩子们表明，用更少的数据学习更多东西是有可能的，而且是少得多。一个在语言环境丰富的家庭中长大的十几岁前儿童，可能已经听过大约 1 亿个词。再加上识字能力，到 20 岁时，这个数字也许能提高到 3 亿个词。
这种规模上的差异，只有通过类比才能勉强体会。“Claude 所见到的语言量，足以相当于一个整座城市一代人所经历的语言量，”Wilcox 说。如果把用于训练现代 LLM 的所有词语都打印在纸上，你可以堆出一座高过国际空间站的纸堆。相比之下，一个人类十几岁前儿童听过的 1 亿个词，只能堆出大约 20 米高。而我们甚至还能用比这少得多的东西凑合过去。
通过逆向工程孩子学习的方式，科学家希望能够创造出更高数据效率的 AI 模型，这类模型可用于从更有效地训练视频 AI，到为少数语言社群打造聊天机器人等各种场景。用机器模型测试关于人类学习的假设，也可能有助于解答关于语言以及儿童发育中的心智的长期问题。我们天生就具有语言本能吗？还是说，即便原则上，一个孩子也能仅凭经验学会语言？我们处理语言的方式，是我们生物学上的一个特例，还是其中至少有一部分反映了语言如何被使用和学习的普遍约束？
基本要素
大多数人只有在童年之后尝试学习一门新语言时，才会意识到语言有多难。过去完成时、卷舌音 r 和鼻元音、属格、短语动词、在语法上属于阳性的桌子和阴性的勺子——这些对成年语言学习者来说，常常都是语言折磨的工具。不过，我们学习母语通常却毫不费力。幼儿在听到大约 1000 万个词后，通常就会开始说出语法正确的句子，最高可达 3000 万个词。
“这简直太神奇了，”Frank 说，“如果你用 3000 万个词来训练 GPT-2，你得到的是一个胡言乱语生成器；你不会得到一个孩子。”
婴儿究竟是如何做到这一点的，仍然是个谜。研究人员对孩子在不同发育阶段学到了什么，以及他们如何使用语言，已经了解很多，但我们仍有许多不知道的地方。也许最持久的问题是，为什么婴儿竟然能够学会语言。人类语言的句法——把词组合成句子的规则——包含递归、嵌套的结构，使我们能够用有限的词和词素表达几乎无限的思想。这似乎是婴儿理应难以应付的问题。他们只是在语言这片无底海洋的浅滩里扑腾。然而，不知怎的，这已经足够。从一滴水，他们推知深海。
20 世纪 50 年代，MIT 语言学家 Noam Chomsky 提出的一种解决方案是，婴儿生来就硬连线地带有语法知识。Chomsky 是在回应一种竞争性的观点：心理学家 B.F. Skinner 所倡导的观点认为，语言习得完全是环境塑造的。Skinner 认为，语言是通过条件作用和强化学来的，就像狗学会如何坐下或握手来换取零食一样。Chomsky 则引用了“刺激贫乏”这一论点加以反驳——也就是语言，尤其是句法，过于复杂，而儿童接触到的语言又过于“贫乏”，他们不可能完全靠经验学会。“他的标志性论点本质上是，语言不能仅仅基于统计而学会，”加州大学欧文分校的语言学家兼认知科学家 Richard Futrell 说。相反，Chomsky 认为语言建立在一套逻辑规则之上，并主张儿童需要对这些规则具有先天知识，才能从零星的言语中推断出本族语的语法。
“这简直太神奇了……如果你用 3000 万个词来训练 GPT-2，你得到的是一个胡言乱语生成器；你不会得到一个孩子。”
Michael C. Frank，认知科学家，斯坦福大学
在美国，乔姆斯基式的语言观以“生成语法”之名统治语言学数十年。它在20世纪50年代和60年代的计算机科学领域也产生了重大影响；当时，AI 正迎来第一次繁荣，语言学与自然语言处理之间的界线在大量军事资金的涌入中逐渐消失；五角大楼希望计算机能理解英语并翻译俄语。
尽管简单神经网络早期就取得了一些成功——它们能够学习识别和再现统计模式——但美国的 AI 研究人员大体上采纳了受乔姆斯基理论影响的基于规则的框架。他们试图通过把规则明确编码进程序里来教计算机语言——与其说是沉浸式体验，不如说更像语法课。这种方法是更广泛的“符号 AI”趋势的一部分，数十年来一直占据主导地位。它也在很大程度上未能产出真正能够大规模处理人类语言的模型。随着20世纪70年代开始的“AI 寒冬”到来，自然语言处理的热度也随之降温。
在那之后，神经网络开始卷土重来。但直到2010年代，随着计算机硬件变得更便宜、更强大，互联网规模也不断扩大，它们的表现才开始引人瞩目。到2018年和2019年，基于一种新架构——Transformer——并在数十亿个 token 上训练出来的 BERT 和 GPT-2 模型，让业内人士清楚地看到：从海量数据中学习对于语言任务是可行的。2022年，随着 OpenAI 聊天机器人 ChatGPT 取得爆发式成功，这一点对所有人来说都已显而易见。
LLM 不是大脑。它们本质上是强大的统计学习器——是朴素的模式学习机器，没有人类大脑皮层中那些经由进化形成的生物学特性。换句话说，它们正是20年前一位生成语言学家会认为“不可能学会语言”的那种东西。而它们却做到了，能写出令人信服的十四行诗，还能通过语法测试。
加州大学伯克利分校的发展心理学家 Alison Gopnik 说：“无论你对 AI 有多怀疑，大家真正印象深刻的是：这些东西能学会句法。我当时并不认为这会是真的。而且我想，大多数人都不认为，你只需观察大量语言样本的统计特征，就能把语法找出来。”
但如果是从一个很小的语言样本中学习呢——比如儿童规模的样本？有没有可能构建出一种婴儿尺度的模型，而它不只是个胡言乱语生成器？
婴儿语言
加州大学圣迭戈分校的语言学家兼数据科学家 Alex Warstadt 还记得 BERT 和 GPT-2 发布前后的那些年，那是令人兴奋的时期。早在2019年，他还是纽约大学语言学博士生，看着自己的领域在眼前发生变化。语言模型仅凭处理文本就能学习英语，这一事实本身就对占主流的乔姆斯基式观点构成了挑战。但许多语言学家仍然怀疑，LLM 是否真的能告诉我们有关人类如何习得语言的任何东西。
“我总是在一个问题上尤其遭到反对。那就是模型的数据集规模，”Warstadt说。“从来没有哪一次，人们在以人类规模训练语言模型时，我们会对它们感到惊艳。”
但Warstadt看到了LLM的潜力：科学模型不必完美，只要能提供信息就有价值，而LLM显然是对人类语言使用方式的强大模拟。通过把关于儿童如何学习的假设构建进模型，并衡量它们的表现——也就是它们离弥合数据鸿沟有多近——科学家们也许能够检验这些想法？2022年8月，Warstadt发了一串Twitter帖子，阐述神经网络可以作为语言习得有用模型的论点。在与AI研究员Leshem Choshen在评论区来回讨论之后，Warstadt提出了后来成为BabyLM的设想。这是一项由Warstadt、Choshen以及其他几位研究人员组织的年度竞赛，旨在用小规模数据集训练模型。
那已经是四年前的事了。此后，BabyLM增加了研讨会，并催生了分支项目，包括一项针对中文“婴儿模型”的竞赛。主赛事要求研究人员在一个“发展上合理”的语料库上训练语言模型，该语料库只有1亿词（幼儿规模赛道则为1000万词），内容来自绘本、对话、电影字幕、Simple English Wikipedia、普通Wikipedia，以及实际面向儿童说话的语音转录文本。乔治城大学的Wilcox是组织者之一，他说，这些模型会按照心理语言学家用于人类的那类语法基准进行评估。
一种任务是向测试对象——无论人类还是机器——展示句子，并观察是否对不合语法的特征表现出困惑或惊讶。例如，测试可能会比较“The keys to the cabinet are on the table”和“The keys to the cabinet is on the table”这两个句子。Wilcox说：“当人类看到‘is’时，他们会想：什么？这里不该用‘is’。”对于人类来说，这种惊讶可以通过追踪眼动来测量；对于语言模型，研究人员则使用一种叫做surprisal的指标，它用来评估模型认为某个句子或句子的一部分有多不可能出现。
这项竞赛已经挑战了一些假设，比如课程学习的有效性。课程学习从简单的训练数据开始，逐步过渡到更复杂的输入——有点像先说婴儿语，然后随着时间推移变得更复杂。而在第一轮BabyLM中，这也是迄今最受欢迎的方法，Warstadt说。但它并没有达到预期效果。
“这种吸引力真的很难抗拒，你知道吧。[课程学习]似乎确实与我们相信人类学习方式的路径非常吻合，”波士顿大学计算机科学家、BabyLM组织者之一Aaron Mueller说。“但这些transformer似乎并不真的需要以那种方式排列数据，也能有效学习。”
或许有点讽刺的是，最好的 BabyLM 模型其实一点也不像婴儿。2024 年的冠军 GPT-BERT 是一个 Transformer，它一部分训练目标是像现代 LLM 那样预测序列中的下一个 token，另一部分则像 BERT 那样工作——一种“掩码语言模型”，以 Mad Libs 式的方式填补 token 序列中的空白。令人印象深刻的是，当 GPT-BERT 只用大约 1 亿个词进行预训练时，它就在 BabyLM 的一个基准测试上击败了 Meta 的 Llama 2 70B——后者作为一个 LLM，预训练数据量大约是前者的 15,000 倍。
尽管如此，BabyLM 模型与 LLM 仍不在同一水平。许多模型甚至无法生成文本，而即便是 GPT-BERT，和现代商业模型相比也显得笨拙。归根结底，虽然它们体型“像婴儿”，但这些模型的学习方式并不像婴儿。孩子们并不是没有实体的计算机程序，他们对世界唯一的“经验”来自书面文本。他们通过感官——尤其是视觉和听觉——来接收世界。为了缩小数据差距，一些研究人员认为，机器需要开始通过孩子的眼睛和耳朵来学习。
将一切尽收眼底
大约 15 年前，迈克尔·弗兰克在斯坦福大学建立自己的实验室时，科学家们其实并不真正知道婴儿是如何体验世界的。发展心理学家才刚开始通过头戴摄像头窥见婴儿的生活。
“那些早期研究带来的洞见是，孩子们的经历与我们想象的截然不同，”弗兰克说，“它更有针对性：他们的胳膊很短，所以物体几乎就在他们正前方。而且他们生活在一片膝盖的森林里。”
弗兰克很想用头戴摄像头拍摄到的画面来训练机器学习模型，以检验关于孩子如何学习语言的假设，但他需要更多数据。于是，他和四位同事招募了三名婴儿——这些孩子的母亲都是心理学家，也很清楚自己会参与什么——让他们为了科学戴上头戴摄像头。这个名为 SAYCam 的项目，在孩子 6 个月到 2 岁半之间，每周记录他们各自生活中的两小时视频。
“[这些家庭]愿意公开那些视频，这一点至关重要，”弗兰克说，“所以我们把它发布了，然后人们开始用它来训练模型。”
其中一位就是布伦登·莱克（Brenden Lake），他是普林斯顿大学的认知科学家和人工智能研究者。2024年，当他在纽约大学工作时，他和同事们展示了一个基于 61 小时原始 SAYCam 数据训练的模型，该模型学会了识别物体并将其与词语关联起来。发展心理学中的许多理论认为，孩子们需要一些先验偏置，才能从原始感官经验中挑出特定部分，并把它们与语言片段联系起来。比如，莱克说，人们认为婴儿会假定像“shoe”这样的新词指的是一个完整物体，而不是它的一部分（比如鞋带）。但莱克团队构建的模型能够在没有任何这类偏置的情况下，学会识别视频画面中的物体并把它们与词语关联起来。莱克说：“事实证明，利用远少于一些理论所设想的数据量，你就能在语言学习上取得真正的开端。”不过他补充说：“训练结束时，我们并不会得到一个两岁的孩子。”
但也许模型无法复制儿童式能力，并不令人意外，因为它们只是在由儿童生命中多年间的短暂片段拼凑而成的数十小时画面上训练。短板也许只是说明数据不够真实。毕竟，婴儿不可能 24 小时都戴着头戴摄像头；像 SAYCam 及其后继项目 BabyView 这样的努力，最多也只能记录到每周几小时的数据。因此，研究人员只能二选一：要么处理单个孩子生命中极小的一部分，要么使用从许多孩子那里汇集起来、更大规模的视频数据集。无论哪种方式，模型的训练数据与孩子真实经历之间仍相去甚远。
这种情况也许正在改变。普林斯顿大学的神经科学家兼心理学家尤里·哈松（Uri Hasson）在过去五年里一直参与一个项目，记录 17 名儿童生命最初 1,000 天的情况。参与家庭把家中所有生活区域（卧室和浴室除外）都布设了摄像头和麦克风，并且几乎每天记录 12 个小时。哈松说，近期一篇预印本首次描述了这一数据集；如果没有用于转录和视频分析的新人工智能工具，这样规模的数据集根本不可能处理。“我们第一次拥有了输入数据，”他说，“这真的只是开始。”
缺失的要素
到目前为止，用视频来训练模型一直很困难。虽然基于文本的模型在摄入海量训练数据集后会直接达到完全流利的程度，但基于儿童视频训练的多模态模型却远非如此。例如，莱克的模型只学会了“ball”和“cat”这样简单的词。Warstadt 说，试图用视觉数据来补充文本数据的做法，对 BabyLM 的参与者并不奏效。Gopnik 认为，问题可能在于孩子并不是只是坐着看世界流逝。“孩子们是在主动探索，这意味着他们在主动选择自己的数据，”她说，“孩子们一直在做实验。”也许这就是缺失的要素。
Gopnik 团队的研究——包括对小学生探索一款受《Minecraft》启发的游戏的研究——表明，看似孩子在玩耍，实际上是一种有效学习因果关系的方式。孩子会主动寻找经历并采取行动，以最大化他们的“赋能”（empowerment），也就是对世界产生可预测影响的能力。
哈佛大学发展认知科学家 Elizabeth Bonawitz 说，与模型不同，孩子知道自己不知道什么，并且有填补知识空缺的动力。她还表示，孩子的社交生活也有助于他们学习。她的研究表明，当孩子知道成年人是在试图教他们某件事时，他们对信息的解读方式会不同。Bonawitz 说：“孩子不仅仅是在推理别人告诉他们的证据，他们还在推理老师、老师的知识，以及老师为什么要告诉他们这条特定信息。”
这与模型的学习方式截然不同：被动、孤立。或许如果模型被设计成主动寻找信息来填补自身盲点，去试验语言并观察其他语言使用者对它们咿呀学语的反应，并对某种模拟社交世界进行推理，它们也许会学得更好。去年的 BabyLM 实际上把竞赛范围开放给那些可以通过与其他模型互动来学习的模型。不过，这些社交型模型并没有超过标准模型。
在领先的行业实验室中，Meta 似乎最有兴趣从孩子那里汲取灵感——尤其是在用视频训练模型方面。两名 Meta 研究人员参与了 BabyLM 的多模态分支；此外，Meta 科学家与包括 Frank 在内的学术研究者 недавно 共同宣布了一项基准和挑战赛，旨在用婴儿头戴摄像头（headcam）拍摄的素材来训练模型。Frank 还表示，一家处于隐身模式的 AI 初创公司 Flapping Airplanes 也对他的研究产生了兴趣。Meta、Google DeepMind、OpenAI 和 Flapping Airplanes 均未同意接受采访。
就目前而言，前沿实验室并没有急着从孩子那里借鉴技巧，Gopnik 说。她认为，下一个 AI 时代——无论取代 transformer 的是什么——都会从发展心理学中汲取经验。
也许，缩小这道数据鸿沟最诱人的原因在于，它或许能帮助我们理解自己。
Mueller 说，总体而言，机器学习界更感兴趣的是做出一个能运转的系统，而不是去模仿大脑。但他认为，人们对数据效率鸿沟的关注和兴趣正在增长。一个例子是 Q Labs 在 2026 年 3 月推出的 NanoGPT Slowrun 基准测试。“它们的目标和 BabyLM 非常相似，”Mueller 说，“但它们已经去掉了人类语言学习这一动机，而是把重点真正放在了数据效率这个角度上。”
Warstadt 想要缩小数据差距的一个原因，是为了让人工智能民主化，使得那些没有能力进行超大规模算力投入的大学和其他机构也能训练出高质量模型，并在 AI 研究中保持相关性。奥斯陆大学的机器学习研究员、GPT-BERT 的设计者之一 David Samuel，则有一个更个人化的原因来研究这个问题。他是捷克人，在挪威工作，而用于训练 LLM 的捷克语和挪威语数据远远少于英语。Samuel 说，像萨米语这样的少数语言，可能只有数千万个 token 可用——大致相当于一个幼儿接触语言的规模。“问题在于，”他说，“我们怎样才能为小语种开发出和英语模型一样强大的语言模型？”
但，也许，缩小数据差距最吸引人的原因在于，它可能帮助我们理解我们自己。
Bonawitz 说，她起初怀疑大型语言模型能否揭示任何关于认知的东西。毕竟，LLM 和大脑非常不同。大脑是具身的。我们的神经元不是整齐的代码行，而是活细胞。而且，大脑会随着学习和年龄增长而发育并变化——LLM 只进行一次预训练，之后不会再变。但尽管这两种系统如此不同，Bonawitz 说：“我有点在修正自己的看法。”比较心理学家可能会研究动物心智，以帮助我们理解自身，而她已经被用同样方式研究模型这一想法说服了。
像 Warstadt、Frank、Wilcox、Lake 和 Hasson 这样的研究者，已经开始把语言模型当作一种语言学实验老鼠——它并不完美，但足以提供信息，是现实中人类语言使用者的替代品，尤其适用于那些更多关乎学习、语言和信息处理，而不是关乎我们大脑或生物学特性的研究问题。当模型能做到我们原以为不可能的语言任务时，这就会挑战旧有假设。研究者还可以把关于语言学习的假设构建进模型里——比如模拟不同程度的双语能力，或者让模型缺少接触某些语法形式的机会——并以一种对真实儿童而言不可能完成的方式来检验这些假设。Futrell 把这种情形比作教一个外星人学习语言，然后打开它的大脑去看看究竟发生了什么。
虽然其他动物也会交流，但只有人类会对话。如今，出现了某种既非动物也非人类、却也能说话的东西。即便模型和心智之间差异巨大，LLM 仍然为比较研究打开了可能性。“在过去 10 万年，或者人类语言存在的那段时间里，人类一直是宇宙中唯一使用语言的实体。现在出现了另一种语言实体，”Warstadt 说，“我们终于有了一个模型；不是语言模型的那个‘模型’，而是‘模式生物’意义上的模型。”
Elise Cutts 是一位常驻奥地利的科学记者。
来自《MIT Technology Review》的最新更新
了解特别优惠、热门故事、即将举行的活动等内容。
来源与参考
收录于 2026-08-25