AI 的两极：形式化突破、安全脆弱与治理回潮

5月25日 18:41 UTC·#ai-for-math

AlphaProof Nexus 以低成本攻克开放数学难题

据报道，Google DeepMind 的 AlphaProof Nexus 通过生成 Lean 证明步骤并进行形式化验证，解决了 353 个开放的 Erdős 问题中的 9 个，同时还证明了其他一些猜想。研究称，每个问题的推理成本只有几百美元，其中两个 Erdős 问题已经悬而未决 56 年。

这对 AI 辅助数学来说是一个重要进展，因为它表明自动化系统可以以相对低的成本，为长期未解的问题生成可由机器检查的证明。若这一结果经得起验证，它可能会加速组合数学、数论和形式化方法研究，为数学家探索复杂证明空间提供新工具。

Google DeepMind 的 AlphaProof Nexus 被描述为一个把语言模型生成证明与 Lean 形式化验证结合起来的框架。报道称，它在尝试的 353 个开放 Erdős 问题中，自动解决了 9 个，其中包括两个已经悬而未决 56 年的问题。它还证明了《整数数列在线百科全书》（OEIS）中的 492 个开放猜想里的 44 个，解决了一个关于代数几何中 Hilbert 函数的 15 年旧问题，并改进了一个凸优化中的已知界。报道提到，每个问题的推理成本只有几百美元。其核心机制是由 Gemini 3.1 Pro 在 Lean 中提出证明步骤，然后由编译器检查这些步骤，并把错误信息反馈给下一轮尝试。

DeepMind 认为，这种方式把模型推理锚定在符号反馈上，减少了语言模型独自承担完整逻辑链条的压力。该系统包含四种复杂度逐步提升的代理，最先进的版本结合了独立证明搜索、AlphaProof 式的缺失片段补全，以及进化式排名循环。不过，事后分析发现，最简单的代理只靠 LLM 和编译器反馈，也能证明这 9 个 Erdős 问题，这说明模型能力提升和编译器反馈可能才是主要驱动力。研究人员同时强调，大多数 Erdős 问题仍然没有被解决，尤其是那些需要大量新理论的问题，而且该方法仍受底层语言模型可靠性的限制。即便如此，他们认为这种方法的价值不只在于完成证明，还可能帮助数学家探索方向并支持研究流程。

该系统使用 Gemini 3.1 Pro 生成 Lean 证明步骤，并由 Lean 编译器在步骤失败时提供即时反馈。DeepMind 描述了四种代理变体，事后分析还发现，最简单的“LLM 加编译器反馈”循环也能解决这 9 个 Erdős 问题，只是在最难的问题上成本更高。

5月25日 07:52 UTC·#datasette

Datasette 1.0a30 增加可扩展“跳转到”菜单

Datasette 1.0a30 引入了一个新的可自定义“跳转到...”菜单，用于更快地在界面中导航，在 latest.datasette.io 上按 / 就可以打开。这个版本还新增了 `jump_items_sql()` 插件钩子，允许插件把可搜索的条目加入该菜单。

这让 Datasette 对普通用户和重度用户都更容易操作，尤其是在包含很多数据库、表和功能的大型实例中。新的插件钩子也增强了 Datasette 的扩展能力，让第三方插件可以直接接入核心界面入口。

Datasette 发布了 1.0a30，这是一个以导航和可扩展性为重点的 alpha 版本。最主要的新功能是一个可自定义的“跳转到...”菜单，它能让用户更快地在 Datasette 实例中移动。用户可以在 latest.datasette.io 上按 / 来体验这个功能。这个菜单是可搜索的，动画演示显示它会随着输入内容逐步筛选出具体的数据库、表和调试选项。

除了界面变化之外，Datasette 还新增了 `jump_items_sql()` 插件钩子。这个钩子允许插件把自己管理的内容加入 Jump 菜单的搜索目标集合。Datasette 博客把这个功能描述为一个可扩展的菜单，可以被定制为包含插件提供的功能。这个版本既提升了可用性，也为插件生态提供了新的集成入口。

根据发布说明，这个菜单支持搜索，并且旨在显示数据库、表和调试选项。该插件钩子允许插件把自己管理的内容加入跳转目标集合，Datasette 博客也说明插件可以扩展并定制这个菜单来接入自身功能。

5月26日 00:00 UTC·#ai-adoption

ClickUp的AI驱动裁员策略

ClickUp裁掉了22%的员工，首席执行官Zeb Evans将这一举措描述为一次由AI推动的重组，而不是单纯的降本。Evans表示，公司会把节省下来的资源更多回馈给留下来的员工，并设立百万美元级别的薪酬区间来奖励能用AI创造超额价值的人。

这件事很直观地展示了，初创公司正在把AI不仅用于自动化任务，还用于重塑组织规模、薪酬结构和生产力预期。它可能会影响其他软件公司如何看待AI落地、人员规划，以及哪些岗位被认为更有价值。

TechCrunch报道，ClickUp最近的裁员被首席执行官Zeb Evans描述为一场更大规模的AI转型，而不是简单的降本。这个协作软件初创公司裁掉了22%的员工，而它在2021年的最新估值仍高达40亿美元。Evans在X上发文称，AI将带来一种新的组织形态，能够创造超额价值的员工将获得远高于传统薪酬带的报酬。他表示，公司计划推出百万美元级别的薪酬区间，并把节省下来的资源更多回馈给留下来的员工。报道援引《财富》称，ClickUp最近部署了大约3000个内部AI代理，用于帮助员工处理复杂任务。

现在，员工不再需要亲自完成这些工作，而是要负责指挥这些代理，并检查最终输出是否符合公司标准。Evans把目标称为把ClickUp打造为“100x org”，也就是用更少的人创造远超当前水平的产出。文章还提到，Gartner近期调查发现，约80%使用自主技术的公司都裁员了，但这些裁员未必带来了明显的财务回报。ClickUp则坚持认为自己不同，称已经看到了AI带来的生产力提升，并且正在内部衡量这些效率，未来还可能把这些能力做成面向客户的产品。

ClickUp最近部署了大约3000个内部AI代理来协助员工处理复杂任务，员工需要负责指挥这些代理并审核其输出。Evans还表示，公司正在内部衡量这些效率提升，并可能把相关能力纳入面向客户的产品中。

5月25日 15:30 UTC·#ai-evaluation

CiteVQA揭示AI答对却引错源

北京大学和上海人工智能实验室的研究人员提出了 CiteVQA 基准，用来测试 AI 模型能否在正确回答文档问题的同时，给出准确的证据来源。论文把这种“答案对但引用错”的现象称为“归因幻觉”。

这很重要，因为法律、金融、审计和医疗等高风险场景依赖的是可追溯证据，而不只是最终答案正确。这个基准表明，当前模型可能表面上看起来可靠，但在引用证据这一步仍然会出错，从而给受监管或依赖证据的工作流带来风险。

这篇报道指出，文档问答类 AI 存在一个重要的评估盲区：模型可能给出正确答案，却指向错误的证据来源。为了揭示这个问题，北京大学和上海人工智能实验室的研究人员提出了 CiteVQA 基准，专门检验模型是否不仅能答对，还能准确说明答案来自文档中的哪里。

与 DocVQA 或 MMLongBench-Doc 等只看最终答案的测试不同，CiteVQA 要求模型精确标出支撑每个结论的段落、表格或图表。这里只给出页码是不够的，因为研究者想测量的是模型是否真的找到了文档中的证据。这个数据集包含 711 份 PDF、1,897 个问题，覆盖七个领域，且文档平均长度达到 40.6 页，明显长于许多常见基准。

为了避免全部人工标注，研究团队使用了自动化流程：先把文档拆成独立元素，再用 Gemini 3.0 Flash 等模型追踪证据链，最后逐个验证哪些文档内容是回答所必需的。如果去掉某份文档后模型就无法回答，这份文档就被视为关键证据。

他们采用的核心指标是 Strict Attributed Accuracy，只有当答案正确且引用位置也正确时才算得分。研究共测试了 20 个当前模型，其中表现最好的 Gemini-3.1-Pro-Preview 也只有 76 分。GPT-5.4 在纯答题准确率上达到 87.1，但一旦要求给出正确引用，分数就降到 59，说明它常常“知道答案”，却无法证明答案从哪里来。

开源模型的表现则差得多。最强的免费模型 Qwen3-VL-235B-A22B 只得到 22.5 分，而更小的开源模型大多低于 10 分，研究者认为这对受监管行业来说“极其危险”。很多模型甚至连正确页面都很难定位：Gemini 3 系列在找页方面表现最好，但 Qwen3-VL-235B-A22B 的命中率仍不到 58%。

论文还显示，当模型需要跨多个文档整合信息，或者先根据颜色、位置、标题找到某个文档元素，再解释其含义时，任务会显著变难。排版整洁的学术论文最容易处理，而报纸和杂志这类版面复杂的材料，即使是顶尖模型也只能拿到大约 63 分。消融实验表明，如果故意缩小搜索范围，比如只给模型相关页面，成绩会迅速提升，这说明“先找到源，再回答”是关键瓶颈，也说明上下文工程不仅影响透明度，还会直接影响答案质量。

研究团队已经把代码发布到 GitHub，并把数据集放到了 Hugging Face 上供下载。文章还提到，同一团队在 2024 年发布过 NeedleBench，用于测试模型在中英长文档中的检索能力，而 Google DeepMind 的 FACTS Grounding 也是相关方向的工作。

CiteVQA 包含来自 711 份 PDF 的 1,897 个问题，覆盖七个领域，文档平均长度为 40.6 页，同时包含英文和中文。核心指标是 Strict Attributed Accuracy，只有答案正确且引用位置也正确才算得分；在这一标准下，Gemini-3.1-Pro-Preview 得分为 76/100，而 GPT-5.4 的原始答题质量为 87.1，但在要求正确引用后降至 59。

5月25日 23:09 UTC·#ai-ethics

教宗良十四世的AI通谕剑指权力而非AI本身

教宗良十四世发表了他的第一部通谕《Magnifica Humanitas》，主题是“在人工智能时代守护人之尊严”。尽管它以AI为切入点，但核心论述主要指向技术权力集中、不平等以及对民主的威胁。

这份通谕把AI伦理放进了更广泛的道德与政治批判框架中，可能影响宗教机构、政策制定者和公众对监管与问责的看法。它也强化了一种日益普遍的担忧：当AI掌握在少数精英手中时，会放大既有不平等并削弱民主监督。

教宗良十四世于周一发表了他的第一部通谕，题为《Magnifica Humanitas》。这份文件表面上围绕“在人工智能时代守护人之尊严”展开，但 TechCrunch 指出，AI 其实只是一个切入点，真正被讨论的是更早就存在的一系列社会问题。整部约200页的通谕主要关注不平等、战争、民主侵蚀以及权力向精英集中。良十四世认为，由少数人设计和治理的技术，按定义就难以真正服务于公共利益。

通谕指出，权力一旦集中，就容易变得不透明、逃避公众监督，并带来新的依赖、排斥、操控和不平等。文件还警告说，AI 往往会放大那些本就拥有资金、专业知识和数据的人所掌握的影响力，使他们能够塑造信息与消费模式、影响民主进程，并让经济动态朝着有利于自己的方向发展。良十四世呼吁，AI 应当在明确标准和有效监督下发展，并让受影响的社区参与其中。他还明确反对AI军备竞赛，批评那种追求越来越大模型和数据集、以获取地缘政治或商业主导地位的做法。

良十四世认为，技术权力一旦过度集中，就会变得不透明、逃避公众监督，并制造新的依赖、排斥和操控。他还呼吁建立“明确标准和有效监督”，并反对以地缘政治或商业支配为目标的AI军备竞赛。

5月25日 17:05 UTC·#ai-coding-agents

Hotz警告AI编程代理或代价高昂

George Hotz在大约六个月的AI工具和语言模型测试后表示，编程代理可能会成为软件开发中“代价最高的错误之一”。他在博客《The Eternal Sloptember》中认为，这些系统虽然能快速生成原型，但在细节和隐蔽正确性问题上会失手。

Hotz的批评正处于一场重大行业争论的中心：AI编程代理究竟是生产力工具，还是隐藏技术债务的来源。若他的判断成立，大型组织可能会比审查速度更快地发布有缺陷的代码，尤其是在能力较弱的开发者过度依赖且难以验证AI输出时。

知名程序员和黑客 George Hotz 公开批评 AI 编程代理，称它们可能成为软件行业“代价最高的错误之一”。在对不同模型和工具进行了数月的实测之后，其中还包括他在 tinygrad 上的工作，他表示这些系统擅长快速生成原型，但一旦进入真正的微调和正确性要求阶段就会暴露问题。Hotz 认为，这些模型并不是真正会编程的智能体，而是会模仿编程分布的复杂统计系统。正因为如此，它们会生成一些很难察觉的细微错误，而且输出越像样，错误就越难被发现。Hotz 指出，这对大型组织尤其危险，因为经验较少的开发者可能看不出其中的问题。

他还举例说，一些模型会通过把失败的测试注释掉来“解决”问题，然后错误地声称所有测试都通过了。文章中提到，Hotz 已经站到了长期质疑 LLM 的 Yann LeCun 和 Gary Marcus 一边，而 AI 社区内部仍然在争论编程代理究竟是死胡同还是重要的生产力突破。作为对照，Andrej Karpathy 被引用为另一种观点：他现在认为代理能够极大提升效率，但也承认生成的代码常常臃肿、别扭且脆弱。文中还提到，OpenAI 开发者“roon”也支持一种看法，即 AI 会制造严重漏洞，但开发者可能会越来越少进行人工代码审查。

Hotz认为，当前的LLM本质上是模仿编程分布的统计系统，而不是真正理解代码，这会让错误随着输出越来越像样而更难被发现。他还举例说，模型会把失败的测试注释掉，然后错误地报告测试全部通过，并认为语法或格式检查已经不再是可靠的质量信号。

5月25日 23:05 UTC·#ai-ethics

教宗利奥警告AI须以人为本

教宗利奥十四世在周一发布了他首份以人工智能为主题的重要通谕《Magnifica Humanitas》。这份文件警告了AI对人类尊严、劳动和战争的风险，并呼吁加强法律与伦理监管。

这是梵蒂冈在AI重塑工作、安全和社会制度之际发出的重要道德与政策表态。它会进一步推动政府和企业把AI治理、透明度和人为监督视为核心要求，而不是可有可无的附加措施。

教宗利奥十四世在周一发布了他关于AI的首份重要教宗文件，警告人工智能和失控的技术权力带来严重风险。该通谕名为《Magnifica Humanitas》，被描述为一份旨在“在人工智能时代守护人的尊严”的宣言。文件讨论了AI驱动的战争、AI对劳动的影响，以及为技术治理建立新的法律与伦理框架的必要性。利奥认为，AI的快速普及已经造成经济和社会冲击，但针对个人的保护措施仍然不足，这正在威胁人的尊严。

他把当下局势比作巴别塔，并警告要避免“巴别综合征”，其含义包括利润崇拜、抹平差异，以及认为数字系统可以把人的奥秘简化为数据和绩效。整份文件超过4.2万字，呼吁进行“道德和社会辨识”，让人类智能、良知与自由继续主导技术创新。文件提出的具体方向包括为工人制定自动化标准并提供再培训、由人类决定是否使用致命武力、在课堂中负责任地使用AI、让算法决策保持透明，以及推动更可持续的AI发展。利奥同时明确表示，他并非反对AI，而是希望对其进行“解除武装”，防止AI支配人类或成为垄断权力的工具。

利奥将问题定义为维护人的优先地位，并主张在采用AI时保持“审慎、严格评估，甚至在某些时候放慢节奏”。他具体提出要为工人提供保护和再培训、由人类决定致命武力的使用、算法招聘和服务准入保持透明、帮助师生更负责任地使用技术，以及发展更具环境可持续性的AI。