被武器化的深度伪造正在威胁社会

关键信息

一项2023年的研究发现，98%的深度伪造内容是色情的，其中99%针对女性；Grok的图像编辑功能导致数百万张性化图片产生，绝大多数对象为女性。技术检测方法受限，因为恶意行为者可以转向无防护的开源模型。

资讯摘要

专家早就警告过AI生成媒体可能被滥用，但现在这些风险已成为现实。生成式AI的进步使任何人能轻松创建几乎无法与真实内容区分的假视频、图片或音频。这些‘被武器化的’深度伪造已被用于煽动暴力、影响选举并伤害个人——特别是女性和边缘群体。

例如，马斯克的Grok AI已生成数百万张性化图像，其中许多涉及女性和儿童。在政治领域，深度伪造被用来抹黑对手，比如一段伪造视频显示参议员约翰·科尔尼恩与杰西卡·克罗克特共舞。尽管已有部分监管措施，但执法仍薄弱，甚至政府机构也在发布被篡改的图像。

资讯正文

多年来，专家们一直在警告，深度伪造——由人工智能生成的视频、图像或音频记录，展示人们做了实际上并未发生的事情——可能被恶意使用。

这些危险如今已经到来。深度伪造技术的进步，以及易于使用且廉价（甚至免费）的生成模型的广泛可用性，使得任何人都能以越来越难以察觉的方式伪造现实。

我们谈论的不只是低质量的AI内容，那些常常明显虚假、充斥互联网的内容。相反，被武器化的深度伪造——从色情图像到诈骗帖子再到政治宣传——可能看起来极其真实。全球已有实例显示，它们正在煽动暴力、试图改变人们的观念（甚至可能影响投票结果），并普遍制造不信任。

这正是专家担忧的原因：武器化深度伪造可能会进一步削弱人们的批判性思维能力，破坏我们对机构和彼此的信任。这对社会和治理构成严重后果，当然也对受害者造成直接影响。与许多其他技术危害一样，人类受影响的程度将不成比例地落在女性和边缘群体身上；尽管这项技术近年来有所发展，但2023年的一项研究发现，98%的深度伪造内容都是色情性质的，其中99%描绘的是女性。

以Grok为例。自从埃隆·马斯克去年底推出这款AI聊天机器人的“编辑图像”功能以来，用户已创建了数百万张带有性暗示的图像，包括许多儿童和女性的照片；有报告估计，这些由Grok生成的图像中，81%描绘的是女性。尽管面临广泛批评，xAI最初的回应是将该功能限制为付费会员使用；随后，该公司在法律禁止此类内容的地区屏蔽了裸露功能。

政治领域的深度伪造也在激增。例如，特朗普政府经常制作并分享人工智能生成的图片和视频。并非所有内容都旨在逼真，但有些显然是为了影响公众舆论，甚至羞辱被描绘的人。

与此同时，今年1月，德克萨斯州总检察长肯·帕克斯顿分享了一段视频，似乎显示他在共和党参议员候选人竞选中的对手约翰·科宁参议员与民主党提名人之一杰茜卡·克罗克特众议员共舞。但实际上这一场景从未发生过——而这段广告并未清楚说明这一点。

但这些方法都有局限性。技术解决方案可以被绕过；例如，恶意行为者可以简单地转向没有安全措施的开源模型。要求人们改变行为方式，比如为照片添加水印或减少在网上发布个人信息，这几乎是不现实的。更严格的法规需要执行——尽管特朗普总统已签署法律，将制作深度伪造色情内容定为犯罪，但他的政府仍在发布其他类型的有害深度伪造内容。例如，今年1月底，白宫分享了一张经过修改的明尼阿波利斯民权律师的照片，将她的皮肤颜色加深，并把原本平静的表情改为夸张的哭泣表情。

这个问题可能会迅速恶化。今年晚些时候，美国将迎来关键的中期选举，而传统上负责维护选举信息真实性的联邦机构已被削弱。许多致力于事实核查和打击选举相关虚假信息的外部研究团体也一样。

深度解析

OpenAI正全力以赴打造全自动研究员

独家对话OpenAI首席科学家雅库布·帕乔基，探讨公司最新重大挑战及人工智能的未来。

《Pokémon GO》如何为配送机器人提供精确至厘米的世界视角

独家报道：Niantic的人工智能衍生公司正利用玩家提供的300亿张城市地标图像训练全新的世界模型。

来源与参考

1. 原始链接
2. Weaponized deepfakes