AI 氛围编程应用可能隐藏严重安全漏洞

The Verge AI··作者 Yael Grauer

关键信息

文中引用的安全专家强调,一旦应用接触共享或托管的个人数据,威胁模型就会发生变化,即使它只是一个下午做出来的项目也是如此。报道还指出,AI 既能帮助开发者,也能帮助攻击者,而面向公网的应用,以及涉及金融、医疗或内部数据的系统,都应该接受更高标准的审查。

资讯摘要

《The Verge》这篇文章提醒读者,在没有安全审查的情况下发布 AI 生成的应用之前要三思。文章从 Bob Starr 的经历写起:他在做出自己的“Boomberg”氛围编程网站后立刻上线,几个月后才发现其中隐藏着一个 SQL 注入风险,攻击者理论上可以读取或篡改不该看到的数据。Starr 说,这是他在学习这项新技术时的一个盲区,而他并不是唯一犯这种错的人。社交媒体上不断出现关于氛围编程应用不安全、甚至造成损失的故事,例如 Jer Crane 说,AI 编码代理清空了他公司的生产数据库。Joe Procopio 也表示,自己做了一个用于私下演示其他应用的网页应用,但在发现被黑客盯上后就把它下线了,后来改回用本地机器通过 Zoom 演示。

文章把这种现象描述为“个人软件”时代的到来:AI 让任何人都能轻松创建满足自己需求的私有应用。可问题在于,能快速做出来并不等于安全,尤其当应用从个人记事、健康记录之类的用途,扩展到客户日志、医疗数据、财务记录或内部文档时。文中引用的安全从业者强调,关键在于应用是否接触他人的数据,或者是否运行在公网环境中,因为这会把标准从个人玩具提升到接近业务软件的级别。文章还提到一个更令人担忧的案例:一个完全为 AI 代理构建的社交网络 Moltbook,据称研究人员发现其生产数据库暴露,导致数万封电子邮件地址和私信面临风险,虽然随后很快被修补。

AI 氛围编程应用可能隐藏严重安全漏洞

资讯正文

鲍勃·斯塔尔对自己用 vibe coding 做出来的网站非常满意。“Boomberg”展示了有多少美国税款流向了科技公司,斯塔尔在做完后立刻把它上线了。直到网站上线几个月后,他才意识到一个问题:存在隐藏的 SQL 注入风险。这本可能让攻击者读取或篡改他们无权访问的数据。

“这完全是我自己的一个明显疏忽。它暴露出我在学习这项新技术、理解这项技术过程中的一个盲点,我确信还有其他人也在犯同样的错误,”这位科技行业项目经理斯塔尔说。

斯塔尔修复了这个问题,但他并不是唯一一个。社交媒体上,到处都是关于充满安全漏洞的 vibe-coded 应用的恐怖故事。PocketOS 创始人 Jer Crane 在 X 上发帖说,一个 AI 编码代理抹掉了他公司生产数据库中的全部数据。连续创业者、前开发者乔·普罗科皮奥(Joe Procopio)用 vibe coding 做了一个 Web 应用,用来私下演示他开发的其他应用。黑客来了,于是他把这个应用下线了。“现在我用老办法做演示:从我的本地机器通过 Zoom,”他写道。“这太 2023 了。”

正如 The Verge 的 David Pierce 所说,我们已经进入了一个新的“个人软件时代”,任何人都可以用 AI 创建自己的私有应用,并让它们完全按自己想要的方式运行。但随之而来的是一个新的安全问题时代。应用也许很容易构建,但很难确保安全——尤其是在 AI 也能被用来攻击它们的世界里。

“我对这件事的总体核心看法是,vibe coding 并不坏,因为非专业人士也能构建软件。实际上,这正是好的一面,”使用 AI 的网络安全公司 SentinelOne 的杰出 AI 研究科学家加布里埃尔·伯纳德特-夏皮罗(Gabriel Bernadett-Shapiro)说。

他说,危险在于,个人应用会逐渐滑入商业软件的领域,在没人意识到这种变化已经发生的情况下,开始存储共享的、托管的数据。他还说,当 vibe coding 不再只是用于记录偏头痛、饮食或包裹投递的本地应用,而是进入处理客户日志、医疗数据、财务记录或内部文档的应用领域时,评估标准就变了。

“这些应用需要接受不同的标准。即便它是一个人用一个下午做出来的。即便生成软件的软件本身很简单。一旦它接触到其他人的个人数据,我认为标准就变了。”

Corridor 的 CEO 兼联合创始人杰克·凯布尔(Jack Cable)也同意这一点。Corridor 是为 AI 原生软件开发打造的安全平台。

凯布尔说,vibe coding“非常适合风险较低的事情”,比如原型,或者并不特别敏感的健身追踪器。但他说,财务记录应当受到更多审查,任何面向公共互联网的东西也是如此。“你是否在那儿暴露了你自己或其他人的任何数据?”他问道。“要仔细思考威胁模型是什么;如果你不确定自己正在做的事情是否安全,谨慎总比后悔好。”

这就是 Privy 这家加密钱包公司的首席运营官 Max Segall 所做的事:他用 vibe coding 写出了 EzRun,把它作为一种有趣的方式来奖励自己的孩子——每次两人一起跑步时,就给孩子 10 美元的以太坊。幸运的是,在发布之前,一位同事发现了一个严重漏洞,这个漏洞本会让任何人修改用户账户并获得访问权限。

在 1 月底一个更令人担忧、也更高调的案例中,一位名叫 Matt Schlicht 的开发者推出了一个病毒式传播的社交网络 Moltbook。它完全是为 AI 代理打造的,而他一行代码都没有写。几天之内,安全公司 Wiz 的研究人员称,他们发现该应用的整个生产数据库完全暴露,泄露了数万条电子邮件地址和私人消息。Moltbook 在被告知问题后不久就修补了这个漏洞,但这并不是孤例。Wired 报道称,网络安全公司 Red Access 的研究人员发现,大约 5,000 个使用流行 vibe-coding 工具构建、可公开访问的应用完全没有身份验证,其中接近 2,000 个似乎正在泄露敏感数据,比如医疗和财务信息、战略文件,甚至聊天机器人对话日志。

公平地说,许多专业制作的、诞生于 AI 之前的软件也同样漏洞百出。但正如 vibe coding 以指数级速度增加了正在产出的应用数量,安全风险的数量也很可能在飙升。而且它还增加了过度自信的风险。当 AI 工具告诉你代码是安全的时,你很容易就会相信它。

而在一次普通的 vibe-coding 会话中,除非你安装了某种具备检查能力的工具,否则没有任何东西会自动停下来进行自查,而大多数普通编程者并没有安装这种工具。构建过程只会继续推进。现有的安全工具必须被主动调用。虽然 Claude Code 有一个 /security-review 命令,可以扫描漏洞,但你必须要求它这么做。它也有自动版本,但前提是你提前设置好让它在 pull request 上运行,而这并不是大多数休闲式构建者会去做的事。

OpenAI 自家的编码代理 Codex 内置了一个安全代理 Codex Security,它会在提交代码落地时进行扫描,并重新扫描它自己提出的补丁,但它面向的是有真正版本控制工作流的开发者,而不是那种通过聊天把一个应用“聊”出来的人。对其他所有人来说,结论很简单:在构建时,你必须一开始就提示安全问题;在结束时,还要再提示一次,尤其是在工具能够访问你在意的数据的任何时候。

Cable 说:“很多安全问题都是依赖上下文的。”因此,虽然运行编码代理自带的审查当然并无坏处,但他提醒,不要因此产生错误的安全感,尤其是在代理不理解你的威胁模型,或者你没有给它正确指引的时候。

Bernadett-Shapiro 说,他最担心的不是有漏洞的 AI 生成代码,而是缺乏身份验证。开发者在把自己本地运行的应用迁移到云端、并接触到一堆他们并不了解的配置选项时,可能根本不会想到这一点,结果导致敏感数据暴露。这是他最担心的失误,而且理由充分:那些在本地运行良好的应用一旦放到云上,就可能像把一箱秘密直接敞开放在路边一样——研究人员一直在不断发现这种问题。

在提示下,AI 很擅长找漏洞。随着 Mythos 等模型的改进,这个 Anthropic 模型曾因极其容易发现可被攻击的漏洞而拉响警报,而它也可以被用来加固 vibe coder 正在构建的应用。Bernadett-Shapiro 说,GPT-5.5-Cyber,甚至其他应用的基础模型,都能评估应用的安全性并识别出即使是熟练开发者也可能忽略的问题。当然,他指出,人们可能并不理解自己正在做出的安全权衡,甚至会把警告当作可以接受的风险而直接忽略。

支撑这一切的基础设施开始出现了。OWASP 这个推动许多网络安全标准的非营利组织,已经发布了一项面向组织的 AI 安全验证标准。Trail of Bits 等公司也开始发布“skills”——一种附加指令包,用来把编码代理引导到特定的安全任务上,比如在发布前标记不安全的默认设置或硬编码密码。Cable 说,skills 必须被专门触发,因此并不太自然地融入开发流程,而且要让它们在不同编码代理之间保持更新和同步,并随着代码库变化而同步,也很困难。

除此之外,skills 也可能适得其反,因为恶意 skills 同样存在。

今年 2 月,1Password 的 Jason Meller 检查了一个流行的 OpenClaw skill 注册表中下载量最高的 skill,发现它引导用户安装的一个依赖最终本身就是恶意的。如今这里仍然像狂野西部一样,很难判断一个 skill 究竟是在加固你的应用,还是在把你的凭证交给攻击者。

不安全的 vibe-coded 应用所带来的潜在风险,并不只是业余爱好者才会面对的问题。Cable 说,如今大公司里的工程师,甚至销售和市场团队,正在交付比以前多得多的代理生成代码。他表示,安全团队需要对这些代理的使用方式保持基本可见性,同时还需要能够真正执行的护栏——无论是通过 skills,还是通过像 Corridor 所销售的产品那样、试图在代码甚至还没写出来之前就阻止漏洞的工具。

对个人而言,Cable 的建议要简单得多:要意识到,在你自己的电脑上本地运行的模型,风险远低于公开对外的模型,尤其是在其中包含敏感数据时。

“几乎是一夜之间,大多数公司生产软件的方式就彻底改变了,”Cable说。只要这些编码代理被赋予合适的护栏来运作,他并不特别担心它们本身。模型本身也越来越建立在一种内存安全的技术栈之上,从一开始就消除了整类漏洞。“我确实认为这里有理由保持乐观,”他说。

政府事务专家Jeff Rothblum出于安全考虑,vibe-coded了一个用于应对海量繁琐数据录入的应用。他考虑了这个应用持有哪些信息、这些信息有多敏感,以及如果泄露会发生什么。这种做法之所以引人注目,是因为它极其罕见,也因为我们脚下的地基变化得如此之快。

在Lilt担任政府事务与战略负责人期间,他不得不向各种政府委员会提交输入表格,以便把想法写进拨款法案。没有两份表格是完全一样的,因此游说人士可能会在六周内提交数十份甚至数百份独特表格。在连续八个75小时的工作周之后,再加上一轮裁员,他开发了一个工具,以防自己将来还得再做这件事。这个应用会抓取链接和截止日期,汇总到一个统一的仪表板中,并使用LLM预填每一份表格,因此用户在提交前只需要审核、编辑,然后填入一个账号即可。

他非常清楚其中的风险,因为这些代码并不是他自己写的。“我上一次写代码大概还是2006年本科期间,为了分析流体流动而用Fortran编程,那时我是航空航天工程专业的学生,”Rothblum告诉The Verge。最大的风险在于,公司可能会无意中泄露策略或敏感的游说理由,而即便相关申报文件是公开的,这些内容仍会保持私密。他正在通过在Claude中定期进行安全审查、让用户数据保留在本地而不是存放在他的服务器上,以及朝着更严格的保留保护措施推进,来降低这种风险。

他已经把自己的应用 vibe-coded 到会清空浏览器,并且明确告知页面会把数据发送给Claude,同时附上其保留政策的链接。他正在开发该应用的一个版本,在这个版本中,用户输入的任何内容都不会被AI存储,哪怕只是短暂存储;还在开发另一个版本,允许用户把所有内容都通过自己的LLM路由处理,而不是通过他的Claude实例。

尽管Rothblum也想过打造一个更广泛的游说情报工具,但他说,如果他真的开始处理更敏感的数据,他打算花四位数到五位数的费用,雇一名真正的安全工程师来审查他的代码。“我很喜欢开源的东西,也很喜欢短暂存在的东西,但除此之外的东西都让我有点害怕,”他说。

让人类专家来审查代码当然是理想的,但Cable说,这正变成一个瓶颈。他说,悬而未决的问题是:当大多数代码发布时都没有任何人类读过它,这个世界会是什么样子,以及我们要如何保护那个世界。

目前,对我们其他人来说,答案更小,也更触手可及:用 vibe-code 打造你梦想中的应用,但要认真思考这个应用会存储哪些数据、能访问哪些数据,以及可能会出什么问题。要求它在构建时就把安全性考虑进去,并在每次改动后进行代码审查,包括 AI 自己写出的补丁。在把它从你自己的设备迁移到云端,或者让它访问任何敏感数据或账户之前,要格外小心。一个有趣项目和一个恐怖故事之间的区别,首先在于你知道该问什么问题。

来源与参考

  1. 原始链接
  2. Read this before you vibe-code another app

收录于 2026-06-23