Topic
#ai-benchmarks
按主题聚合的新闻视图。
Topic Feed
主题：ai-benchmarks
共 6 条
Claude Fable 5 领跑新行业 AI 基准
Artificial Analysis 新增了六个面向行业的能力指数，覆盖金融与会计、法律、医疗健康、战略与运营、工程和经济学。Anthropic 的 Claude Fable 5（带 Opus 4.8 回退）在平台跟踪的全部八项指标中都排名第一，包括原有的 Agentic 和 Coding 指标。
OpenAI推出GeneBench-Pro
OpenAI推出了GeneBench-Pro，这是一个用于评估AI在基因组学、生物学和科学研究任务上表现的新基准。该基准聚焦于复杂的真实世界数据集，而不是合成或玩具示例。
MirrorCode测试AI周级编程任务
Epoch AI 和 METR 推出了 MirrorCode，这是一个要求 AI 模型在没有原始源码的情况下从零重建完整程序的新基准。早期结果显示，Claude Opus 4.7 以 56% 的解决率领先，其中包括在 14 小时内重写一个 16,000 行的生物信息学工具包。
AA-Briefcase展示AI在知识工作中的极限
Artificial Analysis推出了AA-Briefcase，这是一项面向长周期、代理式知识工作的基准测试，任务材料来自Slack线程、电子邮件、会议记录和大型数据导出等碎片化真实来源。报告显示，表现最好的模型Claude Fable 5也只能在3%的任务上完全满足所有评分标准。
OpenAI 推出 LifeSciBench
OpenAI 发布了 LifeSciBench，这是一个由专家撰写并由专家审核的基准，用于评估 AI 系统如何处理真实世界的生命科学研究任务和决策。这个基准更关注生命科学中的实际工作表现，而不只是狭窄的实验室式测试。
ITBench-AA 评估企业 IT 代理性能
Artificial Analysis 和 IBM Software Innovation Lab 推出了 ITBench-AA，这是一个用于评估企业 IT 代理任务的新基准系列。首个站点可靠性工程（SRE）评测中，前沿模型全部低于 50%，其中 Claude Opus 4.7 以 47% 领先。