Google 扩展 Android Bench 并加入新模型

关键信息

Google 表示，Android Bench 涵盖 100 个 Android 开发任务，并且最初在 3 月发布。这次更新还纳入了开放权重模型，但文章指出，Gemini 在这个基准上仍然落后于部分竞争对手。

资讯摘要

代码生成已经成为大语言模型最常见的用途之一，但不同的 agent 在不同任务上的表现并不一样。为了专门评估 Android 应用开发能力，Google 在今年早些时候推出了 Android Bench，用来衡量 LLM 在一组 100 个 Android 开发任务上的表现。现在，Google 对这个基准做了较大更新，并在排行榜中加入了八个新模型。新增模型包括 Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus 和 Qwen 3.7 Max。

Google 还加入了成本和效率指标，这让这个基准不再只看原始效果，也更接近实际选型需求。此外，这次更新还纳入了开放权重模型，并采用了一个 Google 认为更容易使用的新框架。Google 邀请开发者自行运行测试并提交反馈，说明 Android Bench 未来可能会继续根据社区意见演进。尽管有这些更新，文章仍指出 Gemini 在这个基准上的表现依然落后于部分竞争对手。

资讯正文

代码生成正成为大型语言模型（LLMs）最受欢迎的应用之一，但并非所有智能体都同样擅长各种开发任务。谷歌今年早些时候创建了一个基准，用于评估 LLM 在 Android 应用开发中的表现，而 Android Bench 今天迎来了一次重大更新。排行榜如今加入了大量新模型，谷歌也采用了一个应该更易于使用的新框架。开发者受邀自行运行测试并提交反馈，这些反馈可能会塑造 Android Bench 的未来。

尽管 LLM 是很受欢迎的编程工具，但它们并非样样都能做对。要从那些毫无价值的输出中筛选出有用结果，关键在于选对工具。Android Bench 旨在展示哪种 AI 智能体在一套 100 个 Android 开发任务中表现最佳。自今年 3 月推出 Android Bench 以来，谷歌又加入了成本和效率等指标，以及开源权重模型。

来源与参考

1. 原始链接
2. Google updates Android Bench with new LLMs, but Gemini still lags behind