企业在评估鸿沟下仍在上线AI代理

关键信息

受访者提到的首要局限是评估与真实世界结果不匹配，占比 29%。报告还称，66% 的企业已经允许，或正在建设，面向低风险代理的全自动部署，而只有约四分之一的企业会对线上流量进行实时质量检查。

资讯摘要

VentureBeat 的 Pulse Research 调查关注企业在部署前后如何评估 AI 代理和 LLM 功能。报告覆盖 157 家企业，发现公司赋予代理的自主权正在扩大，但用于批准这些系统的评估机制并没有获得同等程度的信任。半数受访者表示，在过去一年里，他们曾上线通过内部测试的代理或 LLM 功能，但这些系统在生产环境中还是造成了面向客户的故障；其中四分之一说这种情况不止发生过一次。对自动化评估的信任明显不足，只有 5% 的企业表示自己完全信任它。受访者最常提到的问题是评估结果与真实世界结果不一致，这说明问题核心更像是可靠性对齐，而不只是测试覆盖不足。

尽管如此，仍有三分之二的企业已经允许，或者正在搭建流程，以便让低风险代理在没有人工介入的情况下自动部署。报告还指出，评估工具链十分碎片化，最常见的主力方案要么是模型供应商自带的评估工具，要么是完全没有专门工具，这两种情况都占 17%。只有大约四分之一的企业会对生产流量做实时质量检查，这意味着很多组织在系统上线后仍缺少有效反馈回路。VentureBeat 将这种状况概括为“评估鸿沟”，即自主性推进得比保障能力更快。

来源与参考

1. 原始链接
2. The AI context gap: Enterprise AI organizations have a trust problem, not a retrieval problem — and most are still building the fix
3. The agent evaluation gap: Enterprise AI organizations have a reality-alignment problem, not a coverage problem — and most are shipping to production anyway