企业AI代理链中的隐性风险

关键信息

文章强调了三个失效点：权限蔓延、责任不清，以及多步骤链路中缺乏实时强制执行。文中指出，仅靠监控是不够的，因为事后记录违规行为并不能阻止它发生。

资讯摘要

这篇文章认为，企业AI真正的危险不在于某一个自主代理单独行动，而在于多个代理被连接起来后形成的网络效应。企业通常不会只部署一个代理，而是会部署一组代理，它们会调用API、调用其他代理，并进入原本并不是为机器决策者设计的业务应用。随着代理数量增加，复杂性并不会线性上升，而是会通过代理和系统之间可能出现的路径数量成倍累积。结果就是，整个工作流变得难以理解、审计和治理。作者指出，这会让安全和运维团队连一些基础问题都回答不上来，比如谁能访问哪些系统、某个下游动作是谁触发的。

文章举例说，一个原本只经过一个系统的支持工单，现在可能在人工看到之前就已经经过多个代理，而每一次交接都是一个没人明确批准的决策点。作者认为，企业常常用一次性的检查清单和审批流程来应对这种问题，但这并不能解决链路层面的复杂性。文章还指出了几个常见失效点，包括权限蔓延，也就是代理一开始只为摘要工单而创建，后来却逐渐获得了敏感系统的访问权；以及责任变薄，即工作流中某一环出问题时，没有任何明确的人负责。文章提出的解决方向不是只给单个代理做登记，而是建立端到端的治理基础设施，包括独立身份、受限权限、人类负责人、实时可见性，以及在违规操作执行前就能拦截的强制执行能力。

资讯正文

<p><i>由 Gravitee 呈现</i></p><hr /><p>代理复杂性是如今潜伏在企业内部、亟待被照亮的隐秘阴影。</p><p>这是因为企业不会只部署一个 agent 然后看着它运行；它们部署的是一整群 agent，每一个都在调用 API、调用其他 agent、接入那些从未以机器决策者为设计前提的应用。真正应该让你夜不能寐的失败模式，就是这样一种看不清、也难以治理的混乱复杂系统。可为什么事情会这么快变得如此不透明？</p><p>在一个系统中再加入第二个 agent，就多了一条连接。加入第十个时，你增加的就不是十条连接，而是可能几十条，因为现在任何一个 agent 都可能调用任何另一个，而每一次调用又都可能在别处触发新的调用。复杂性并不会随着 agent 数量的增加而缓慢上升；它会随着 agent 之间路径数量的增加而成倍累积，而没人负责去画出这张关系图。一个原本只会触及单一系统的支持工单，如今在任何人真正看到它之前，可能已经经过四个 agent，而每一次交接都是一个无人批准的决策点。</p><p>大多数企业 AI 项目之所以停滞，是因为负责这些 agent 的人已经跟不上脉络了。问安全团队一个简单问题：哪些 agent 可以访问哪些系统，看看会发生什么——沉默。再问三跳之前，是哪个 agent 触发了哪个下游动作。还是沉默。</p><p>人们的本能是把这件事当成一张检查清单来处理：批准 agent，记录 agent，然后继续往前走。我认为这是一种错误的本能。检查清单检查的是某个单一时点，而复杂性是沿着一条链条展开的；你不可能用一叠一次性审批来治理一条链，正如你不能因为曾经吃过一次蔬菜就说自己的饮食已经成功一样。</p><p>那么，它究竟是在哪里失控的？</p><p>首先是权限蔓延。有人构建了一个用于总结支持工单的 agent，因为如果要正确限定范围就得再花一个冲刺周期，于是给了它广泛的 API 访问权限，然后就把这事忘了。六个月后，同一个 agent 已经能进入支付系统。没人记得曾经批准过这件事。事实上，也没人批准过。</p><p>而且，链条越长，责任就越稀薄。五个 agent 共同处理一个工作流，到了第四步出了问题，这时你就得去问：到底谁该为某个从未被指定负责的环节承担责任？因为组织结构图只停在“部署 agent”，却从没走到“明确一个对它负责的人”。</p><p>这说的是一种<a href="https://www.gravitee.io/platform/ai-agent-management"><u>治理基础设施</u></a>，它还没有跟上 agent 的真实行为方式：彼此互联、层层级联，并且比用来追踪它们的流程扩张得更快。</p><p>要修复这种乱局，必须从身份开始。每个 agent 都需要作为独立实体存在，而不是借用部署者权限投下的一个影子。它在注册表里要有自己的名字。它要有自己受限范围内的权限。还要有一个明确的人类赞助者，为它的所作所为负责。

那部分是必要的。

但这远远不够。

更难的一部分，是贯穿整条链路的监督，而不仅仅是对每一个单独环节的监督。你需要实时看到某个 agent 做了什么、它在下游触发了什么，以及这条轨迹最终落到了哪里，而不是等到有人每个季度整理一次报告。把 agent 级身份识别做好却止步于此，最后你得到的只会是一个文件柜，里面装着一堆记录完美的 agent，而它们运行在一个没人能真正解释清楚的系统里。

而且，监督本身只能告诉你已经发生了什么。看着一条链路，并不等于控制它。执行强制是大多数项目都会跳过的那一环：在越权调用真正执行之前就将其阻止，而不只是把它记录下来，等三周后让别人去审查时才发现。一个仪表板如果只能在五分钟前告诉你某个 agent 超出了权限范围，那它只是监控工具；一个能从一开始就阻止违规发生的系统，才是治理。认真对待<a href="https://gravitee.io/agent-accountability"><u>agent 责任追究</u></a>的企业需要两者兼备，而大多数企业只搭建了前者。

我们都在拼命加速，只为了确保自己不会在这场我们已身处其中的竞赛里被甩下；同时我们也都非常清楚，放慢速度是有代价的。每一家认真投入 agentic AI 的企业，最终都会撞上复杂性高墙。那些能跨过去的企业，都是因为它们建立了足够的可见性和责任追踪能力，这样它们的 agent 集群才能继续扩张，而不会让任何人失去回答一个问题的能力：这个系统现在正在做什么？又由谁负责？

但不要误解重点。复杂性并不是踩刹车的理由。那些做对这件事的企业，并没有放慢脚步。它们正在朝着 Human-Agent Harmony 迈进，让规模化与责任追踪共同增长，而不是彼此权衡取舍。

真正的风险，从来不是某一个 agent 精准执行了它被设计去做的事情；而是一百个 agent 同时精准执行各自该做的事，却以没人设计过的组合彼此交互。正是这种倍增效应，让企业 AI 一直困在试点阶段，而不是进入生产环境。

把复杂性解决掉，自治就不再是反派。它会开始成为全部意义所在。

Rory Blundell 是 Gravitee 的 CEO。

来源与参考

1. 原始链接
2. Enterprise AI's real risk isn't autonomous agents. It's the complexity between them.