Google DeepMind成立研究院拓展AGI讨论

关键信息

其中一篇文章认为，开发者和监管者可能需要限制模型的“非透明串行深度”，或证明透明度较低的系统仍然可以被有效监测。Hassabis另行提出成立由美国主导的标准机构，起初在模型发布前最多30天进行自愿评估，之后采用未公开的保留测试，并可能将评估通过作为部署要求。

资讯摘要

Google与Google DeepMind研究人员成立了DeepMind Institute，旨在推进关于人工通用智能及其社会影响的讨论。该研究院将DeepMind联合创始人Shane Legg、Google高管James Manyika和Google DeepMind董事长Demis Hassabis列为负责人，Legg担任执行编辑。研究院表示，它希望展示Google、Google DeepMind以及更广泛全球研究社区之间的不同观点，并承认参与者可能存在分歧，也可能随着新证据出现而改变立场。首批文集包括四篇文章，分别讨论应对潜在AGI经济冲击的政策、保留人类可读的模型推理、促进人类福祉的原则，以及评估前沿AI模型的框架。

安全研究人员Rohin Shah和Anca Dragan认为，逐步查看和检查模型推理的能力不断缩小并非不可避免，相关安全权衡需要被直接处理。他们提出的方向包括限制模型的非透明串行深度，或要求开发者证明透明度较低的系统仍然同样容易监测。Hassabis则建议建立由美国主导的前沿AI标准机构，最初在模型发布前进行自愿评估，随后采用独立的保留测试，并可能要求模型通过评估后才能在美国部署；如果风险足够严重，他还提出未来可以协调放缓前沿AI开发。

资讯正文

Google 和 Google DeepMind 的研究人员周三成立了 DeepMind Institute，旨在推动围绕通用人工智能（AGI）的讨论。该研究所列出的负责人包括 DeepMind 联合创始人 Shane Legg、Google 高管 James Manyika，以及 Google DeepMind 董事长 Demis Hassabis，其中 Legg 担任执行编辑。

这家新研究所旨在呈现 Google、Google DeepMind 与全球更广泛研究界对 AGI 的不同看法。公告写道：“他们不会总是意见一致，而且随着快速发展的前沿领域出现更多数据和信息，他们很可能会改变自己的看法。”

首批发布的四篇文章涵盖了一系列主题：应对 AGI 潜在冲击的经济政策、保留人类可读的模型推理过程、促进人类繁荣的原则，以及评估前沿 AI 模型的框架。

DeepMind 安全研究人员 Rohin Shah 和 Anca Dragan 在其中一篇文章中指出，AI 的透明度窗口正在缩小——也就是查看和检查模型逐步推理过程的能力正在减弱——但这并非不可避免。随着新架构令最强大的模型变得更难监控，两位作者认为，开发者和监管机构应直接面对其中的安全权衡。这可能意味着限制“不透明串行深度”——即模型在不生成可读推理轨迹的情况下能够执行的连续计算量——或者要求开发者证明，透明度较低的系统仍然具备同等程度的可监控性。

Hassabis 在另一篇文章中提议，成立一个由美国主导的前沿 AI 标准机构，对最先进的 AI 模型进行评估。按照他的框架，开发者最初可在模型发布前最多 30 天自愿提交模型接受审查。一旦该评估体系被证明有效，通过其测试就可能成为在美国部署前沿模型的必要条件。

该机构起初将与 AI 公司协商设计评估方案，但最终会开发独立且不公开的评估，也就是文章所称的“留出”测试，以防止实验室针对已知评估专门调整模型。Hassabis 表示，如果事态的严重性有此需要，这一框架可以“逐步加码”，措施可能包括让前沿 AI 开发者协调一致地放慢开发速度。

这些文章发布之际，业界关于安全的讨论正从宽泛地表达担忧，转向提出有关信息披露、外部审查以及在保障措施落后时协调减速的具体方案。本周，随着业界领袖对 Anthropic CEO Dario Amodei 呼吁“控制前沿 AI 开发节奏”的部分主张表示支持，这一转变进一步加速。

Google DeepMind成立研究所，扩大关于AGI的讨论

来源与参考

1. 原始链接
2. Google DeepMind launches institute to widen the AGI debate | TechCrunch