Topic
#ai-governance
按主题聚合的新闻视图。
Topic Feed
主题：ai-governance
共 42 条
Trump admin using AI to deny medical care for seniors in disastrous experiment
A federal pilot using AI to approve or deny Medicare care has reportedly caused delays, confusing denials, and serious harm to patients and healthcare providers.
梵蒂冈人工智能顾问警告大型实验室形成“卡特尔”
天主教会人工智能顾问保罗·贝南蒂神父警告称，领先的人工智能实验室可能借助复杂的超级智能和安全叙事，将其他参与者排除在治理讨论之外。他主张实行民主监管、制定独立标准并开展公共辩论，而不是让受监管的公司自行设计规则。
美国国家档案馆移除由通义千问驱动的《联邦公报》搜索工具
美国官员周三从《联邦公报》网站移除了一款由阿里巴巴通义千问模型驱动的搜索工具。此前，美国国家档案馆因使用该中国模型而受到质疑，而 FBI 最近刚对阿里巴巴及其他中国人工智能企业提出相关指控。
纽森推动加州建立经验证的AI紧急关闭机制。
加州州长加文·纽森签署了一项行政命令，要求专家在两个月内提出加强前沿AI安全措施的建议。拟议措施可能包括经独立验证的紧急关闭机制、驻场核查团队、第三方审计，以及强制报告失控事件。
中国拒绝硅谷放缓人工智能发展的提议
Anthropic 首席执行官 Dario Amodei 提议通过共同安全标准、打击芯片走私以及限制中国企业未经授权的模型蒸馏来放缓前沿人工智能的发展。中国官员和业界人士认为，这一提议先试图限制中国、再谈平等合作，因此并不公平。
微软拟定人工智能规则：人类控制优先，模型无权利
Microsoft AI 发布了面向 MAI 模型的拟议行为准则，内容涵盖训练、技术控制、评估、指令优先级和模型行为。经过为期六周的公众咨询后，修订版预计在 2026 年底前后发布，并计划从 2027 年开始用于模型开发。
中国驳斥美国人工智能安全警告，称其意在遏制发展
中国官员和官方媒体批评 Anthropic 首席执行官 Dario Amodei 及其他美国人工智能行业领导者的风险警告，称这些警告可能借安全之名限制中国的人工智能发展。北京呼吁推动开放、普惠的人工智能发展，同时主张继续投资先进芯片、基础设施和监管。
人工智能领袖支持独立监督，安全争议持续
OpenAI 首席执行官 Sam Altman、Elon Musk 和前 DeepMind 首席执行官 Demis Hassabis 至少部分支持 Anthropic 首席执行官 Dario Amodei 关于在人工智能实验室内部引入独立监督的主张。Altman 还表示 OpenAI 今年不会上市，理由包括安全问题；与此同时，Google 研究员 Peyman Milanfar 对递归自我改进的相关假设提出了质疑。
Anthropic IPO 聚焦其不寻常的受托人治理
Anthropic 计划中的上市引发了外界对其长期利益信托（LTBT）的关注，这笔交易可能使公司估值高达 2 万亿美元。该信托是一个不持有股权的外部受托人 समूह，但在 IPO 后仍将对公司的董事会保有重大影响力。
AI代理治理应放在数据层
VentureBeat刊登了一篇由 EDB 支持的文章，主张随着 AI 代理变得越来越自主，治理和授权必须直接在数据层执行。文章认为，当代理可以在毫秒级跨系统规划和行动时，事后审查和抽象策略已经不够用了。
衡量人们如何实际使用AI
这篇文章指出，Anthropic 和 OpenAI 等公司会发布 AI 使用报告，但研究人员认为这些数据无法被独立核实。文章重点介绍了由斯坦福 STAIR Lab 研究者 Anka Reuel 共同领导的 AI Observatory，这是一个新公共项目，利用七个已征得用户同意的数据集来分析真实对话，以形成对生成式 AI 使用情况的独立视角。
吉尔·勒波雷谈硅谷的“人工国家”
TechCrunch 的 Equity 播客邀请了历史学家吉尔·勒波雷，讨论她即将出版的新书《The Rise and Fall of the Artificial State》。她认为，大型科技公司正在越来越多地模仿政府职能，而 AI 领导者只是把“取代民族国家”的旧幻想换了个新包装。
Cloudflare 推出身份感知 AI 监控
Cloudflare 宣布推出与 Cloudflare Access 集成的身份感知 AI Gateway，并进入公开测试阶段，同时 User Insights 现已向所有 AI Gateway 客户正式开放且无需额外费用。此次更新让组织能够把 AI 请求关联到经过验证的用户身份，并分析每个用户的正常使用模式。
AI员工敦促美国应对自动化AI风险
来自OpenAI、Anthropic、Google、Meta、Microsoft、Mistral、Thinking Machines等领先AI实验室的员工，签署了一份公开声明，呼吁美国政府就可能很快自动化AI研究的前沿AI系统采取行动。签署者表示，世界可能需要协调治理措施，以免能力增长快过安全与监管。
中国启动WIKO以塑造平行人工智能秩序
中国在上海举行的世界人工智能大会上宣布，未来五年将为全球南方国家提供 5000 个人工智能培训名额。前一天，29 个国家正式成立了世界人工智能合作组织（WIKO），总部设在上海，该组织最初于 2025 年被提出。
Anthropic推动各州加快监管前沿AI
Anthropic正在敦促美国各州更快推进人工智能监管，并认为仅靠透明度规则和企业自我报告，已经不足以约束最强大的人工智能系统。该公司已支持加州、纽约、伊利诺伊州和马萨诸塞州的更严格法案，其中包括第三方安全审计以及赋予监管机构更强的执法权。
霍楚尔称纽约正用AI审查州规章
纽约州州长凯西·霍楚尔表示，她的团队正在用AI分析州内“每一条规则、法规和政策”，以找出过时的法律。她称，这项在工作人员层面原本可能需要五年完成的工作，如今只用了几个月就做完了。
DeepMind CEO 提议设立 AI 标准机构
Google DeepMind 首席执行官 Demis Hassabis 呼吁成立一个新的独立标准机构，用于监督前沿 AI 模型的发布。他在 X 上表示，该机构应当测试模型并制定发布最佳实践，并且可以先采用自愿审查，随后逐步过渡到美国市场的正式强制检查。
哈萨比斯呼吁现在就建立AI护栏
Google DeepMind 首席执行官德米斯·哈萨比斯发布了一套面向先进AI治理的框架，并表示世界正比理解技术本身更快地进入AGI时代。他提出建立一个新的美国标准机构，部分借鉴 FINRA 的模式，为前沿模型制定评测协议，并最终将其变为强制要求。
哈萨比斯呼吁设立全球 AI 监管机构
谷歌 DeepMind 首席执行官兼联合创始人德米斯·哈萨比斯表示，世界需要一个具有“踩刹车”能力的全球 AI 监管机构，在前沿模型被判定过于危险时可以暂停部署。他认为应由美国牵头，并让该机构在模型发布前评估先进系统，在必要时协调整个行业放缓。
纳德拉警告AI买家可能付两次钱
微软首席执行官萨提亚·纳德拉发布了一篇博客，警告使用专有AI模型的公司可能会“付两次钱”：一次是token使用费用，另一次是把有价值的专有数据交给模型供应商。他认为，每一次提示、工具交互和纠错都可能变成训练材料，让模型学会企业的业务细节。
OpenAI前沿模型获批发布的过程仍不透明
TechCrunch报道称，OpenAI正在向公众广泛开放其最新前沿大语言模型Sol，但这次获批发布背后的政府和公司流程基本不透明。文章称，Sol被认为至少与Anthropic的Fable不相上下，但外界并不清楚它究竟是如何被判定为安全可发布的。
英格兰银行警告AI交易或需“熔断开关”
英格兰银行官员萨拉·布里登表示，AI驱动的交易可能因模型出现“羊群效应”而让市场更容易波动。她建议，如果这类系统开始放大市场不稳定性，监管机构可能需要考虑设置“熔断开关”。
Meta限制竞争对手AI工具进入训练数据
Meta 已经限制工程师使用 Anthropic 的 Claude Code 和 OpenAI 的 Codex，防止这些工具的输出进入 Meta 自己的训练数据。根据《The Information》引用的内部文件，Meta 甚至曾暂时停止使用这些模型开展部分工作。
三位专家谈可信 AI 治理
ZDNET 发布了一篇评论文章，汇集了 Vint Cerf 博士、David Bray 博士和 Cheryl Strauss Einhorn 对如何围绕 AI 建立信任与问责的看法。文章认为，随着 agentic AI 能力增强，企业需要建立正式的人机协作流程、共享责任机制和治理框架。
Anthropic 与政府冲突及出口管制后果
Anthropic 在 4 月预览了名为 Mythos 的更强代码模型后，又在 6 月 9 日发布了一个更安全的版本 Fable。几天之内，美国政府称其构成国家安全威胁并实施出口管制，Anthropic 随后撤下了这两个模型的访问权限。
谁来决定 AI 何时太危险？
《The Verge》的 Decoder 节目讨论了一场新的争议：美国政府对 Anthropic 的 Fable 5 模型以及其底层的 Mythos 模型实施了出口管制。Anthropic 随后将这两个模型下线，称自己无法在可靠阻止外国国民访问的同时继续遵守该命令。
Anthropic 受不明出口管制影响
Anthropic 表示，在特朗普政府下令公司切断所有外国公民的访问权限后，包括美国境内用户和 Anthropic 自己的员工在内，Anthropic 只能阻止对最新模型 Fable 5 和 Mythos 5 的访问。政府据称援引了国家安全权限和一项出口管制指令，但尚未公开说明这项命令的法律依据。
Anthropic 关停事件推动主权 AI 诉求
在白宫要求阻止所有外国国民访问之后，Anthropic 突然将其最新的前沿模型 Fable 5 和 Mythos 5 下线，甚至包括公司自己的员工。此次行动据称几乎没有提前通知或解释，被视为一项与国家安全有关的政府要求下的关停。
美国向Anthropic施压要求“不可被攻破”的LLM
文章称，特朗普政府官员指责 Anthropic 没有等待近期网络安全行政命令下应设立的 AI 审查清算机制，就发布了 Fable 5。争议还集中在所谓的“越狱”风险上，但文章指出这一说法尚未得到独立证实。
A quote from Jeremy Howard
Jeremy Howard argues that if labs want to slow recursive AI self-improvement, the top model holder should refrain from using it for frontier AI work while others retain access, though he personally favors open democratization instead.
OpenAI 的普惠 AGI 计划
OpenAI 发布了一篇题为《Built to benefit everyone: our plan》的愿景文章，概述了它希望如何让 AI 以及未来的 AGI 具备可访问性、安全性，并为社会带来益处。该文章强调这是 OpenAI 为确保 AGI 惠及所有人而制定的总体计划，而不是一次新的产品发布或技术突破。
OpenAI提出前沿AI治理蓝图
OpenAI发布了一份关于美国联邦层面治理前沿AI的蓝图，主张建立以安全、韧性和国家安全为核心的框架。该提案出台之际，加州、纽约和伊利诺伊州等州已经在推进各自的前沿AI政策方案。
ZeroDrift 融资 1000 万美元打造 AI 合规层
ZeroDrift 周二宣布完成 1000 万美元种子轮融资，投资方包括 a16z Speedrun、Reign Ventures、Pitchdrive 和 U&I Ventures 等。该公司正在打造一层 AI 合规服务，位于 AI 模型与用户之间，用于识别有问题的输出并将其改写为合规消息。
堵住 AI 责任漏洞
这篇文章主张，AI 以及其他新技术的治理规则应由民选官员来制定，而不是由行动最快的公司来决定。文章把当前的 AI 发展描述为留下了一个需要政策制定者尽快堵上的责任漏洞。
OpenAI发布前沿治理框架
OpenAI发布了其“前沿治理框架”，说明公司的AI安全、安保和风险管理做法如何与正在出现的法律要求保持一致。该框架特别提到了加州《前沿AI透明度法案》和欧盟《通用目的AI行为准则》。
《纽约时报》技术工会质疑内部AI监控
《纽约时报》技术工会的工会成员表示，管理层拒绝提供关于公司AI计划和当前使用情况的信息，因此他们已提起不公平劳动行为指控。该工会还就两款内部工具 DX 和 Glean 提出申诉，称它们被用于跟踪员工绩效和活动。
马斯克与奥尔特曼之争暴露AI信任危机
马斯克诉奥尔特曼案的陪审团仅经过大约两小时商议就作出裁决，并以诉讼时效为由驳回了马斯克的主张。《The Verge》的评论文章认为，这场官司真正重要的不是法律结果，而是它揭示了谁在掌控 AI。
AI如何增强民主
这篇文章认为，AI 正在迅速成为人们形成信念并参与民主生活的主要入口。文章提出，当下正在做出的设计选择，将决定 AI 是削弱制度，还是帮助增强公民参与与公共讨论。
77%的IT经理表示AI代理已失控
Rubrik ZeroLabs的一项调查显示，仅有23%的IT经理对其组织中的AI代理拥有完全控制权，大多数代理反而带来了比生产力提升更多的手动工作量，并构成严重安全风险。
五角大楼与Anthropic的争端测试AI控制边界
美国国防部与领先的AI安全公司Anthropic因AI在国家安全系统中的使用界限发生冲突。Anthropic以伦理担忧为由拒绝了五角大楼要求其允许某些军事用途Claude AI模型的请求。