Gemini 增加代理式视频分析

关键信息

谷歌表示，该模型可以识别不到一秒的事件，包括 1 fps 扫描可能漏掉的状态变化和剪辑切点，并能在可疑时间窗口以更高帧率重新采样。该功能现已通过 Gemini API 提供给上传视频和 YouTube 视频使用，按标准 token 费率计费且不额外收费，Gemini 应用和 YouTube 的集成将在之后上线。

资讯摘要

谷歌正在为多款 Gemini Flash 模型加入代理式视频分析，这改变了系统处理视频的方式。与其按固定模式逐秒扫描整段视频，模型现在可以自行决定哪些片段最重要，以及应该如何查看这些内容。谷歌表示，这种方式不仅能显著减少 token 用量，还能提升准确性。公司给出的数据是，token 用量最多可减少 88%，成本最多可降低 66%。这一能力已加入 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite。

它的目标是捕捉不到一秒的短暂事件，包括镜头切换和状态变化，而这些内容在默认 1 fps 的旧方法下可能被漏掉。谷歌还表示，系统可以在数小时的视频中追踪场景，在可疑片段上以更高帧率重新采样，并更可靠地统计重复动作或对象。该功能现已通过 Google AI Studio 中的 Gemini API 以及 Gemini Enterprise Agent Platform 提供，开发者只需在配置中把处理模式设为“agentic”即可启用。谷歌称，费用仍按标准 Gemini API token 费率计算，不会额外收费。未来，这项能力还会进入 Gemini 应用，以及 YouTube 的“Ask YouTube”体验中。

资讯正文

Google Gemini 全新的基于智能体的视频分析可将 token 用量最多降低 88%

要点

- Google 正在为其 Gemini Flash 模型加入基于智能体的视频分析功能，该功能会动态搜索视频片段，而不是按固定模式逐帧扫描。

- 这些模型会自主决定分析视频的哪些部分以及如何分析。Google 表示，这可节省最多 88% 的 token、将成本降低 66%，并提升准确率。

- 该功能现已通过 Gemini API 提供，用于在长视频中查找特定场景；与 Gemini 应用和 YouTube 的集成则计划稍后推出。

Google 正在为多款 Gemini 模型加入基于智能体的视频分析功能。与按固定帧率逐帧扫描视频不同，模型会自行寻找相关片段，Google 表示，这样可以大幅减少 token 用量并降低成本。

最新的 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型，能够捕捉短于一秒的瞬间，包括在每秒一帧的处理方式下可能被遗漏的状态变化或剪切。Google 表示，这使得自动化视频编辑的精度大幅提升。

该系统还可以在数小时的视频中定位单个场景，而不会消耗数百万个 token。它会通过以更高帧率重新采样可疑时间窗口来发现异常，并能准确统计随时间重复出现的动作和单个物体。

在此之前，Gemini 依赖静态处理，默认按每秒一帧的固定帧率对视频进行采样，且可通过 API 调整。自 2025 年原生视频分析推出以来，Gemini 一直在转录音轨，并按每秒为单位分析画面。

Google 表示，基于智能体的版本把模型的推理直接与原生视频工具绑定在一起。模型会自行决定查看哪些片段、以多快的速度查看，以及通过哪种模态查看——无论是画面、音频还是转录文本。对于某项任务，它只会提取真正需要的瞬间和信号。

Gemini 现在只加载视频中有用的部分

Gemini 现在会使用一个内部工具，只抓取视频文件中相关的部分。开发者过去可以手动构建这种选择性处理方式，但现在由模型自行完成。

这一方法建立在 Google 于 1 月为 Gemini 3 Flash 推出的“agentic vision”之上。该功能允许模型编写并运行 Python 代码来放大、裁剪和标注图像，并在回复前通过“思考-行动-观察”循环检查每个结果。该功能在发布时并不能自动适用于所有情况，但基础已经打下。Google 在去年 12 月发布 Gemini 3 Flash 时，就曾将视频的视觉与空间推理标记为即将推出的能力。

效率提升在长视频上最为明显，从 10 分钟的教程到 90 分钟的讲座，以及持续数小时的录制内容都包括在内。在静态处理方式下，开发者不得不在高昂的 token 成本和会丢失重要细节的方法之间做选择。根据 Google 自己的基准测试，包括 LongVideoBench 在内，采用基于 agent 的分析的 Gemini 3.7 Flash 在整体质量上得分最高，并且在准确性与成本效率之间提供了最佳组合。

通过 API 不额外收费

该功能现已可通过 Google AI Studio 中的 Gemini API 以及 Gemini Enterprise Agent Platform 用于视频上传和 YouTube 视频。开发者只需在 API 配置中将处理模式设为“agentic”，并按标准 Gemini API token 费率付费，无需支付额外费用。更多细节见 Developer Guide。

Google 也计划将这些改进带到自家产品中。该功能应很快向所有 Gemini 应用用户推出，适用于 Flash 和 Flash Lite 设备。在接下来的几个月里，基于 agent 的视频分析还将为播放页面上的“Ask YouTube”功能提供支持，使回答与视频中实际可见内容的关联更加紧密。

来源与参考

1. 原始链接
2. Google Gemini's new agent-based video analysis cuts token usage by up to 88 percent