Discord 的 AI 审核漏洞误封数千用户
TechCrunch AI··作者 Lauren Forristal
关键信息
Discord 表示，其系统会将上传内容与已知有害材料数据库进行匹配，但一个漏洞绕过了原本应有的人工复核步骤，直接触发了封禁。公司称该问题自 5 月起影响账户，且在周末又有额外 200 名用户被封禁，随后问题被发现并修复。
资讯摘要
Discord 承认，其 AI 审核系统中的一个漏洞在过去两个月里错误封禁了超过 8,000 名用户。被误判的内容包括电子表格、棋盘、游戏贴图以及透明背景等明显无害的图像。公司表示，这个问题自 5 月起就已经存在，并且在周末又有额外 200 名用户被封禁，直到 Discord 发现并修复了该漏洞。当前所有受影响账户都正在恢复中。Discord 在 X 上解释称，其自动安全系统的设计逻辑，是将上传内容与已知有害材料数据库进行匹配。公司指出，这类相似度匹配可能会产生误报，因此在采取任何处罚前，通常应由 Trust & Safety 团队成员进行人工复核。
问题出在一个漏洞让系统绕过了这一步，直接对受影响账户执行了封禁。该事件之所以引发关注，是因为它暴露了 AI 辅助审核在大规模应用时的风险。X 和 Reddit 上的用户称，他们仅因上传含有方格图案的图片就遭到永久封禁，一些人推测系统可能因为方格曾被用于隐藏 NSFW 或儿童剥削内容而变得过于敏感。受影响用户表示，这类误封代价很高，因为很多人依赖 Discord 进行工作、游戏社群交流以及跨地区社交联系。Discord 也表示，团队正在加强保护措施，避免类似问题再次发生。
资讯正文
Discord 已经承认，其 AI 内容审核系统中的一个漏洞在过去两个月里误封了 8,000 多名用户，原因是一些无害图片——包括电子表格、棋盘、游戏纹理，以及白色和灰色透明背景——被错误地标记为有害内容。
该公司确认，这个问题自 5 月以来一直影响着相关账号，并且在团队发现并修复问题之前，上周末又有另外 200 名用户遭到封禁。目前，所有受影响的账号都在恢复过程中。
这一事件凸显了 AI 辅助审核日益增长的挑战之一：随着越来越多平台依赖自动化系统大规模识别非法或滥用内容，误判问题也随之加剧。
Discord 在 X 上发布的详细帖子中解释称，其自动安全系统的工作方式，是将上传内容与已知有害材料数据库进行比对。尽管这项技术旨在捕捉非法内容，但公司承认它有时会产生误报。人工审核员会查看这些内容，但一个漏洞导致系统直接封禁了受影响账号。
“我们正在努力加强保护措施，确保这种情况不再发生，”公司写道。
我们的系统会通过将内容与已知有害材料进行比对来标记内容。这种相似性匹配可能会产生误报，因此在采取任何行动之前，我们 Trust & Safety 团队的一名成员始终会审核被标记的内容。预期的行为是……—— Discord Support (@discord_support) 2026 年 7 月 7 日
我们的系统会通过将内容与已知有害材料进行比对来标记内容。这种相似性匹配可能会产生误报，因此在采取任何行动之前，我们 Trust & Safety 团队的一名成员始终会审核被标记的内容。预期的行为是……—— Discord Support (@discord_support) 2026 年 7 月 7 日
我们的系统会通过将内容与已知有害材料进行比对来标记内容。这种相似性匹配可能会产生误报，因此在采取任何行动之前，我们 Trust & Safety 团队的一名成员始终会审核被标记的内容。预期的行为是……
在 X 和 Reddit 上，用户声称自己仅仅因为上传了包含方形网格图案的图片就被永久封禁。几名用户猜测，Discord 的 AI 审核工具之所以对网格状图案变得越来越敏感，是因为这类图案此前曾被用于试图在自动检测系统面前遮蔽或伪装 NSFW 和儿童剥削内容。
受影响的用户一直在社交媒体上表达不满，一些人认为，完全基于自动检测的永久账号封禁会带来严重后果，尤其是对于依赖 Discord 进行工作、游戏社区活动或远距离社交联系的用户而言。
一位 X 用户写道：“因为这样不公平的原因失去 Discord 账号，可能会非常令人崩溃，并对用户造成严重影响，而每天都有数百万用户受到错误 AI 封禁的影响。这件事必须被制止。”
“由于你们的 AI 自动审核系统存在 bug，把我的 GAME TEXTURES 误判为 CSAM，我的账号被错误封禁了。我需要把账号找回来，因为我是游戏总监，Discord 是我所有沟通的工具。我已经请求复审我的停用决定。@discord @discord_support pic.twitter.com/QfAkCIJo6S — JDBRYANT 🎂 TODAY (@jdbryantdev) 2026年7月4日”
“由于你们的 AI 自动审核系统存在 bug，把我的 GAME TEXTURES 误判为 CSAM，我的账号被错误封禁了。我需要把账号找回来，因为我是游戏总监，Discord 是我所有沟通的工具。我已经请求复审我的停用决定。@discord @discord_support pic.twitter.com/QfAkCIJo6S — JDBRYANT 🎂 TODAY (@jdbryantdev) 2026年7月4日”
“由于你们的 AI 自动审核系统存在 bug，把我的 GAME TEXTURES 误判为 CSAM，我的账号被错误封禁了。我需要把账号找回来，因为我是游戏总监，Discord 是我所有沟通的工具。我已经请求复审我的停用决定。@discord @discord_support pic.twitter.com/QfAkCIJo6S”
Discord 并不是唯一一家因自动化系统而面临审核问题的平台。去年，Instagram 和 Facebook Groups 的用户曾报告大范围、毫无解释的账号停用，许多人认为这是 AI 审核系统造成的。尽管用户指出自动化很可能是罪魁祸首，Meta 从未公开确认是否是 AI 错误所致。如今，Meta 的监督委员会正在推动提高透明度。
Tumblr 去年也曾面对用户投诉，这些用户称自己的账号在没有明确说明的情况下被大规模封禁。
当你通过我们文章中的链接购买时，我们可能会赚取一小笔佣金。这不会影响我们的编辑独立性。
SpaceX 有一款 AI 设备原型，而且听起来相当像手机。
SpaceX 有一款 AI 设备原型，而且听起来相当像手机。
来源与参考
收录于 2026-07-08