把AI代理当作需要严管的实习生
ZDNET AI··作者 Joe McKendrick
关键信息
嘉宾强调，代理的权限必须被严格限制，因为它可能以不可预测的方式串联工具，从一个地方读取数据，再把数据写到不该去的地方。讨论还警告了“影子 AI”和身份模糊问题：有时很难判断一次操作究竟是人、服务账户还是拥有类似人类权限的代理执行的。
资讯摘要
ZDNET 指出，AI 代理正在从简单的聊天机器人演变为能够直接操作应用和企业数据的“数字员工”。在旧金山举行的 Snowflake Summit 相关讨论中，来自 AI 安全公司的专家认为，这类代理应该像热情但容易犯错的实习生一样被管理。嘉宾们的核心观点是：在真正把代理交给重要工作之前，必须给它明确指令、持续监督，并设计好严格的边界。Resolve AI 的创始人兼 CTO Mayank Agarwal 表示，管理者必须非常谨慎地决定代理拥有哪些权限，并为它能做的事情设置“铁一般的约束”。1Password 的 CTO Nancy Wang 也强调，不仅要知道代理被设计来做什么，还要弄清它是在谁的授权下行动，以及它接触到的数据会被如何处理。
讨论还指出，代理式系统与过去的软件模式不同；以前工程师通常能精确预测 API 之间如何调用、按什么顺序执行。如今，代理会为了完成目标临时选择工具和路径，这带来了新的安全问题，比如数据外泄或把信息写到不该去的地方。Tenable 的 Jason Merrick 提醒说，组织很容易看不清幕后到底发生了什么，尤其是在多个代理实例、API 数据源、源代码和聊天工具相互连接时。文章最后强调，企业需要在“过度限制”和“过度放权”之间找到平衡，既不能把代理完全锁死，也不能让它们失去治理。
资讯正文
让你的 AI agents 像热情但容易误入歧途的人类实习生一样对待——否则你可能会失去控制
ZDNET 的要点
在 AI agent 的约束与自主性之间找到平衡。
上下文和意图必须融入 agent 的开发过程。
还要考虑配置以及 agents 可以访问的数据。
AI agents 正在从简单的聊天机器人演变为成熟的数字员工，被授权在应用程序和数据上执行操作。随之而来的，是一系列安全与治理方面的担忧。
在最近于旧金山举行的 Snowflake Summit 上的一场小组讨论中，专家建议，把你的 AI agents 当作热情但容易误入歧途的实习生来对待，对它们施加与人类实习生同样的监督和指导。AI agents 需要人类管理者给出明确指令并进行谨慎监控。
此外：如何为你的业务构建更好的 AI agents——而不引发信任问题
与会的 AI 安全供应商代表一致认为，没有约束的 agent 会非常成问题。Resolve AI 创始人兼 CTO Mayank Agarwal 说：“你可能告诉这个 agent 给你买鞋，结果你一转眼，它已经给你买了一辆车。”
约束、上下文与意图
Agarwal 指出，专业人士必须抛弃旧的软件开发规则手册，因为如今构建和部署 agents 与近年的软件实践截然不同。
他说：“如果你回到两年前，工程师会非常清楚自己要如何在不同系统之间连接 API。整个过程非常可预测：A 会调用 API B，B 会用这些数据做某件事，然后调用 C，再用那些数据做别的事。但在 agentic 世界里，一切都完全不可预测。agent 会即兴把这些东西连接起来。给它一个目标，解决这个问题，它就会出去尝试它能够访问的所有路径。”
这种做法会带来专业人士和管理者尚未准备好应对的新型问题。Agarwal 说，这个 agent 正在“与一些能够代表你执行操作的工具对话，所以你并不知道这些工具是否在外泄数据”。“agent 可能从某个工具中读取内容，再用另一个工具把它写到不该去的地方。”
影子 AI 的幽灵
这种担忧引出了影子 AI 的幽灵——它在视线之外运行。Tenable 产品高级副总裁 Jason Merrick 说：“我们有一个客户，在他们的框架内有 12 个 OpenClaw 实例，可以访问 API 数据流、源代码，还有一名承包商使用 Telegram 进行沟通。你说会出什么问题，对吧？”
此外：AI 代理也会制造混乱？最新研究显示，机器人和机器人对话时，局面很快就可能失控
因此，由于这些问题，理解代理在幕后到底做了什么会很有挑战。Wang 说，人们会提出这样的问题：“到底是谁对这个系统采取了行动？是人吗？是服务账户？还是代理？”“你的团队很可能并不知道，或者对此没有 100% 的确定性。因为到了今天，代理看起来像人，但它们也可能看起来像服务账户，因为它们拥有你的全部权限。”
因此，需要在治理和访问之间取得平衡，因为 AI 是一种强大的生产力和创新工具，必须能够独立行动。Wang 建议：“你不应该只是把一切都阻挡掉，或者把一切都用防火墙隔开。”
对平衡的这种需求也解释了为什么深入的人类监督至关重要。Merrick 建议：“看看员工正在创建的用户内容——通过 Copilot、Claude Chat 或 Gemini。看看他们的配置。AI 是否配置错误？它在访问什么类型的数据？并且要能够据此采取行动。另外，还要看看提示词本身。提示词是在和什么进行交互？”
底线：具体指令
Wang 说，这一领域正是防护栏和传统身份最佳实践至关重要的地方。最大的风险将来自“权限过高、且凭证沿用已久的代理”。
此外：新手真的能 vibe code 出一个应用吗？我试用了 Cursor 和 Replit 来找答案
Wang 继续说，这里的挑战在于，如何围绕这些“非确定性存在”来设计安全与治理。“这本质上是在允许它们发挥创造力，同时也要以 SDK 的形式应用基本上传统的指令集。你希望有可预测的控制，但同时又不希望把它们限制得太死，以至于不再能带来生产力收益。”
专业人士需要牢记的底线是，代理和实习生一样，需要“非常、非常具体的指令”，Wang 说。“有时候它们仍然会偏离预期路径。无论你考虑的是如何治理代理，还是如何看待完整的代理轨迹，归根结底都离不开完全可见性、补救措施，以及确保你从一开始就设定了正确的意图——而且这种意图必须贯穿代理采取的每一步、每一个动作。”
来源与参考
收录于 2026-06-13