梵蒂冈人工智能顾问警告大型实验室形成“卡特尔”
WIRED AI··作者 Joel Khalili
关键信息
贝南蒂支持建立确保人工智能系统不脱离人类控制的标准，但担心对研发方法施加广泛限制会扼杀创新。Anthropic首席执行官达里奥·阿莫代伊主张模型发布前必须接受第三方评估，并限制模型蒸馏；另一些人则提出禁止递归式自我改进。
资讯摘要
保罗·贝南蒂认为，围绕超级智能的警告可能会转移注意力，使社会忽视如何约束先进人工智能开发公司的更紧迫问题。他表示，大型前沿实验室把这项技术描述得极其复杂，仿佛只有它们有资格参与治理，从而压缩了公众参与空间。在他看来，伦理不能只由公司董事会掌握，而应通过民主监管和公共领域的辩论加以平衡。相比禁止特定研发技术，贝南蒂更关心由独立机构制定能够确保模型受人类控制的标准，因为过于宽泛的限制可能阻碍创新。
他认为，大型实验室提出的治理叙事部分源于自身利益，并称少数公司共同主导行业规则的情形类似于卡特尔行为。他还提醒，由于商业目标、上市计划、个人利益以及中美竞争相互交织，外界很难判断有关当前或未来人工智能能力的宏大说法究竟有多可信。最后，贝南蒂反对以近乎宗教崇拜的方式描述超级智能，强调人工智能本质上是统计计算而非新的神明，同时认为这项技术可能让宗教在公共讨论中承担新的角色。
资讯正文
但为天主教会提供 AI 咨询的神父 Paolo Benanti 表示，围绕超级智能泛泛而谈，会转移人们对另一项迫切需求的注意力：就如何约束开发这项技术的公司展开公开辩论。他说，大型实验室把问题描述得极其复杂，仿佛只有它们才能解决，从而将其他所有人排除在讨论之外。
“伦理不能是某家公司董事会说了算的东西。它必须在公共领域的辩论中得到权衡与协调。”Benanti 对 WIRED 表示，“我们需要民主监管。”
在这些安全警告发出后不久发表的一篇文章中，Anthropic 首席执行官 Dario Amodei 呼吁，新的 AI 模型在发布前必须接受强制性的第三方评估，并以某种方式打击“蒸馏”——即竞争对手实验室利用专有模型的输出来训练自己的 AI。另一些人则主张全面禁止递归式自我改进，也就是 AI 利用其先进的编程能力，帮助开发自身未来的迭代版本。
Benanti 对限制 AI 开发方法兴趣不大，因为他担心这可能会扼杀创新；他更关注的是建立相关标准，确保模型不会脱离人类控制。他说，无论这些标准采取何种形式，都不应由实验室来设计。
Benanti 表示：“前沿实验室的叙事以自身利益为出发点，目的是获得或维持市场地位。”他说，当一小群公司决定某个行业的运行规则时，“这种行为有一个非常明确的名称：卡特尔。”
Benanti 表示，由于经济、政治和个人利益相互交织，很难判断有关最新及未来 AI 模型能力的宏大论断究竟有多少可信度。
虽然 OpenAI 和 Anthropic 都支持放缓开发速度的呼吁，但它们也在为上市做准备，而谁能占领市场，关系到数百亿美元的利益。美国与中国之间的敌意也使局面更加复杂；目前，最先进的 AI 模型正是在这两个国家开发。
Anthropic 拒绝置评。OpenAI 和 Google DeepMind 均未回应置评请求。
Benanti 还反对 AI 行业某些圈子谈论超级智能的方式：他们怀着一种通常只用于神明的敬畏，将其描述为复杂到超出人类理解、几乎无所不能。（OpenAI 首席执行官 Sam Altman 曾表示，他渴望打造一种“天空中的魔法智能”。）Benanti 说，这种叙事框架可能会扭曲围绕这项技术的讨论。
“我们谈论的究竟是某种东西，还是某个人？这才是真正的区别。这不是信仰问题，而是数学问题。”他说，“我们不是在创造下一个神明。我们只是在自欺欺人，以为其中发生的不只是统计计算。”
Benanti 表示，AI 的出现提出了人与机器之间有何区别、以及如何保护后代免受技术负面影响等问题，因而可能“让宗教在公共辩论中扮演一种新角色”。他说：“直面这个时代的挑战，是教会使命的一部分。”
尽管 Benanti 是一名神职人员，但他并不正式代表天主教会的治理机构圣座。相反，他以哲学、神学和技术学者的身份为教会提供建议。Benanti 告诉 WIRED，他会使用 AI 为自己的大学生制作工具和材料，但拒绝透露教皇 Leo XIV 是否使用这项技术，以及如果使用的话会如何使用。（Benanti 的工作人员称，他受到“保密誓言”的约束。）
今年 5 月，教皇 Leo 发布了他的首封通谕。通谕是一种将宗教教义应用于当下问题并阐明教会立场的信函。他选择人工智能作为通谕的主题。
教皇在信中警告称，AI 行业贯穿着一种技术官僚主义逻辑，这种逻辑将“效率视为衡量价值的终极标准”，并把人类看作“一个有待优化的项目”。他还呼吁相互竞争的超级大国与 AI 公司开展国际合作；他说，它们必须放下“确保地缘政治或商业支配地位的欲望”，以确保这项技术的发展服务于共同利益。在其中一段尤其具有先见之明的文字中，他警告人们注意“人类沦为自身成就受害者的危险”。
Benanti 表示，围绕超级智能与生存风险的争论，可能会把人们的注意力从通谕提出的目标上引开，因为这会促使人们把决定技术发展方向的话语权让给少数数学家、计算机科学家以及大型 AI 实验室的高管。
Benanti 说：“首先，我们需要刹车和方向盘。这意味着人类要对机器拥有重要的控制权。”
来源与参考
收录于 2026-09-24