MAISI寻求用数学证明人工智能安全
The Decoder··作者 Manuel Uth
关键信息
与可以在无需测试每一种攻击的情况下证明安全性的加密方案不同，人工智能目前甚至没有一个清晰的理论化安全定义。MAISI正在考虑零知识证明等工具，使系统能够证明自己遵守特定要求，同时不暴露人工智能实验室的商业机密。
资讯摘要
加拿大数学家、近期获得 Fields Medal 的 Jacob Tsimerman 宣布成立数学人工智能安全研究所。该独立研究所将设在旧金山湾区，预计于2027年1月开始研究工作。据报道，研究所初期可能组建一支由10至30名数学家组成的团队，专门研究人工智能安全问题。Tsimerman 同时将加入 OpenAI 的安全团队，他认为人工智能安全需要远高于当前实践水平的标准。
密码学家可以在不检查每一种潜在攻击的情况下证明加密方案具有安全性，但人工智能安全目前没有类似的捷径。MAISI指出，这一领域甚至还没有一个清晰的理论定义来说明人工智能系统究竟怎样才算安全。该研究所希望建立相关证明，说明系统能够负责任地行动、产生正确结果，并避免多个智能体协作时出现不良后果。研究目标还包括证明系统能够抵御研究人员尚未发现的漏洞，而零知识证明可能帮助研究者在不披露实验室专有细节的情况下验证系统是否符合要求。
资讯正文
加拿大数学家 Jacob Tsimerman 刚刚获得菲尔兹奖，并宣布成立数学人工智能安全研究所（Mathematical A.I. Safety Institute，MAISI）。据《纽约时报》报道，这家位于旧金山湾区的独立研究机构计划于 2027 年 1 月开始工作，届时将由 10 至 30 名数学家研究人工智能安全问题。Tsimerman 还将加入 OpenAI 的安全团队。他表示，这一领域需要“比我们目前所达到的安全标准高得多、得多”。
对于加密方案而言，无需尝试每一种可能的攻击方式，就可以证明它无法被破解。而人工智能并没有这样的捷径。安全性只能在实践中体现出来；据 MAISI 称，甚至连“安全”究竟意味着什么都还没有明确的定义，理论上也是如此。
MAISI 希望让这类证明成为可能。其目标是证明一个系统能够以负责任的方式运行并生成正确结果，证明多个协同工作的 AI 智能体不会触发非预期结果，并证明系统能够抵御那些尚未被任何人发现的漏洞。一种可能采用的工具是零知识证明，它能让系统证明自己没有作弊，同时不暴露 AI 实验室的商业秘密。
来源与参考
收录于 2026-09-12