纳德拉批评AI实验室禁用蒸馏

关键信息

蒸馏在文章和标准机器学习语境中指的是将大模型的知识转移到更小的模型中。纳德拉把客户的纠错、评分和使用模式描述为提供商可以学习的“废气”，并将这种关系称为“逆向信息悖论”。

资讯摘要

微软首席执行官萨提亚·纳德拉在一篇博客文章中批评了 OpenAI 和 Anthropic 等 AI 实验室的模型蒸馏政策。蒸馏是机器学习中的一种做法，即把大模型的知识转移到更小的模型中。纳德拉表示，很讽刺的是，这些公司据称在服务条款中禁止蒸馏，但与此同时又以合理使用为依据训练公共数据。 他还指出，这些公司会从客户交互中受益，包括纠错、评分和使用数据，而这些内容可能暴露企业内部知识。

在他看来，这导致经济价值流向了基础设施运营方，而不是那些真正产出知识的组织。 纳德拉把这种现象称为“逆向信息悖论”，并表示企业使用 AI 时实际上付出了两次成本：第一次是金钱，第二次是员工与 AI 系统交互时产生的数据“废气”。 文章还指出，这番批评来自微软负责人，而微软本身也在为希望更好控制自身学习循环的客户提供基础设施。

资讯正文

Nadella 点名批评 OpenAI 和 Anthropic 等 AI 实验室，一边禁止蒸馏，一边却拿别人的数据训练

微软 CEO Satya Nadella 点名批评 AI 实验室禁止蒸馏。蒸馏是指较小的模型从较大模型的输出中学习的过程。像 OpenAI 和 Anthropic 这样的提供商在其服务条款中禁止这种做法，主要针对中国 AI 公司。在其博客的一篇文章中，微软 CEO Satya Nadella 现在称，讽刺的是，这些同样的提供商一方面基于所谓的合理使用从公开数据中训练，另一方面又禁止蒸馏，还从客户互动中学习。Nadella 说，其结果是，经济价值更多地集中到了基础设施运营商手中，而不是那些真正创造知识的公司手中。

在消耗智能的同时，你也在创造智能。

Satya Nadella

Nadella 将这称为“反向信息悖论”。公司为 AI 付费两次。第一次是用钱，第二次则是他所说的“废料”，也就是来自与 AI 系统交互的纠正、评分和使用数据，这些数据会暴露公司内部知识。AI 提供商可以从这一切中学习，并有可能打造竞争产品。当然，Nadella 恰好拥有企业若想控制自身学习闭环时所需要提供的基础设施。

来源与参考

1. 原始链接
2. Nadella calls out AI labs like OpenAI and Anthropic for banning distillation while training on everyone else's data