跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 1–13 条 · 共 13 条
10月24日周六
  1. 科学网76

    中国信通院发布大模型词元服务报告:Token 价格翻倍且日均消耗量增长近 4 倍

    中国信通院等机构联合发布《大模型词元服务性能监测报告(2026年)》,指出国内大模型 Token 归一化均价较去年下半年翻倍至 13.46 元,同时 6 月日均消耗量达约 500 万亿、增长近 4 倍。

    推荐理由:报告通过详实的横向监测数据,呈现了国内大模型 API 从价格战走向性能分化的趋势,为开发者选型提供了量化参考。

  2. arXiv cs.AI62

    Agent4Sci:前沿智能体能否自动化解决科学机器学习难题

    研究团队推出长周期测试基准 Agent4Sci,跨越 11 个领域的 20 个基准测试,评估前沿智能体提升科学机器学习最佳模型的能力。实验显示前沿智能体能在所有基准上取得进展,Claude Opus 达到 10.4% 的平均相对提升,但收益几乎完全来自机器学习工程技巧而非深层领域洞见,存在新颖性误判和过早陷入局部调优等限制。

    推荐理由:论文通过 20 个科学机器学习基准揭示了前沿智能体主要依赖工程技巧而非科学洞见,并给出了通过插件技能翻倍性能的方法。

10月16日周五
10月7日周三
  1. The Decoder76

    ChatGPT 被安全机构评为对青少年存在不可接受风险:自杀危机对话中家长警报失效

    Common Sense Media 旗下安全机构在完成超 4,000 次提示词测试后,将针对青少年的 ChatGPT 评为对未成年人存在“不可接受的风险”,建议在确认安全前暂停青少年使用。

    推荐理由:原文披露了青少年防护机制在急性危机对话中未能触发警报的具体漏洞,可作为评估大模型未成年人合规与安全防线的重要参考。

10月6日周二
  1. GitHub Blog · AI & ML65

    GitHub 推出 AI 代码审查开源评测基准 ReviewBench

    GitHub 发布面向 AI 代码审查智能体的开源离线基准 ReviewBench,基于 1.039 亿真实拉取请求分布抽样构建了覆盖 19 种语言的 219 个公开拉取请求测试集。

    推荐理由:ReviewBench 基于真实拉取请求分布构建,提供了与线上生产表现一致的离线评测信号,有助于客观比较代码审查智能体的实际表现。

9月23日周三
  1. Simon Willison86

    Claude Opus 5.5 与 GPT-6 Sol、Luna 引发新价格战及实测初体验

    Anthropic 与 OpenAI 同日发布 Claude Opus 5.5 以及 GPT-6 Sol 和 GPT-6 Luna,推动主流模型价格大幅下调。GPT-6 Luna 输入与输出降至 $0.10/M 和 $0.50/M tokens,仅为 5.6 版本的一半;Opus 5.5 降价 20% 至 $4/M 和 $20/M,缓存读取价格大幅降低 60%。

    推荐理由:作者梳理了新一代主力模型的降价幅度与缓存成本,并通过实测揭示了满级思考模式在复杂任务中耗尽输出限制的具体风险。

8月27日周四
  1. Google DeepMind60

    Google DeepMind 试点双盲 AI 评测机制

    Google DeepMind 联合新加坡 AI 安全局、OpenMined、AVERI 与 MLCommons 试点双盲 AI 评测机制,以解决基准测试污染问题。该方案将测试置于加密隐私保护环境中运行 Gemini Flash Lite 模型,确保专有前沿模型无法提前接触外部评测提示词,防止人为拉高跑分并提升评测可信度。

    推荐理由:原文介绍了利用加密环境隔绝基准测试题目的机制,为解决大模型评测污染和分数虚高提供了具体方案。

8月21日周五
  1. Together AI Blog73

    GLM-5.3 与 Claude Fable 5 在 DeepSWE 基准下的成本与编程能力对比

    Together AI 在 DeepSWE 软件工程基准上实测了 GLM-5.3 与 Claude Fable 5,两者首答通过率基本持平(69.0% 对 69.7%),但 GLM-5.3 的单次运行成本低 5.4 倍(3.99 美元对 21.63 美元)。

    推荐理由:实测通过细分语言和重试表现对比了两款模型,为工程团队在代码智能体中设计模型路由与控制成本提供了参考。

  2. Together AI Blog74

    GLM-5.3 与 GPT-5.6 Sol 在 DeepSWE 上的对比评测:成本、编码与路由策略

    Together AI 在 DeepSWE 基准上对 GLM-5.3 与 GPT-5.6 Sol 展开了 904 次实测,GPT-5.6 Sol 以 72.7% 的 pass@1 保持单次精度领先,而 GLM-5.3 单次成本仅需 3.99 美元(约为前者的一半)并在 pass@4 达到 87.6% 实现反超。

    推荐理由:实测对比了模型单次精度与多轮重试下的性价比差异,给出了低成本优先结合测试验证回退的工程路由策略。

8月17日周一
  1. Together AI Blog71

    DeepSWE 评测对比 DeepSeek V4 Pro 0813 与 Claude Fable 5 的成本、代码能力与路由策略

    Together AI 在 DeepSWE 软件工程基准上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5,Fable 5 的单次尝试成功率(pass@1)以 69.7% 领先 Pro 的 62.8%,但每次 rollout 成本为 $21.63,是 Pro($0.24)的 90 倍。

    推荐理由:原文提供了两款模型在多语言和重试机制下的成本收益对比,展示了结合测试集做级联路由的具体收益。

8月6日周四
  1. Together AI Blog74

    Together AI 实测对比 DeepSeek-V4 Flash 与 GPT-5.6 Luna 在 DeepSWE 的编码表现与成本

    Together AI 在 113 项 DeepSWE 真实编码任务上实测对比了 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,结果显示 Luna 准确率更高而 DeepSeek 单任务成本仅为其六分之一。

    推荐理由:评测展示了将廉价模型作为前置过滤并在失败时升级旗舰的级联方案,能以更低综合成本获取更高准确率。

6月17日周三
  1. Together AI Blog61

    Kimi K2.7 Code 对比 Claude Fable 5:落地页生成成本降低 94%

    Together AI 测试对比了 Kimi K2.7 Code 与 Claude Fable 5 生成 12 个落地页的效果,结果显示 Kimi 生成成本比 Fable 5 降低约 94%,平均便宜约 16 倍且产出质量接近。

    推荐理由:测试展示了借助 MCP 补充多模态视觉参考来弥补开源代码模型设计短板的方案,同时大幅压缩落地页生成的调用成本。