跳到正文

#评测/基准

今日 1 条
8月17日周一
  1. Together AI Blog71

    DeepSWE 评测对比 DeepSeek V4 Pro 0813 与 Claude Fable 5 的成本、代码能力与路由策略

    Together AI 在 DeepSWE 软件工程基准上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5,Fable 5 的单次尝试成功率(pass@1)以 69.7% 领先 Pro 的 62.8%,但每次 rollout 成本为 $21.63,是 Pro($0.24)的 90 倍。

    推荐理由:原文提供了两款模型在多语言和重试机制下的成本收益对比,展示了结合测试集做级联路由的具体收益。

8月13日周四
  1. Microsoft Research45

    MindTopo 揭示视觉语言模型的空间推理能力

    微软研究院推出全新评测基准 MindTopo,用于评估视觉语言模型在连通性、包围、顺序、分离和绳结五个维度的拓扑空间推理与规划能力。评测结果显示,受测闭源与开源模型在静态推理上的表现普遍显著优于交互规划,且两者均远低于人类水平。模型失误主要出现在行动规划阶段,难以在多步动作序列中持续追踪拓扑结构演变或遵守物理约束。

8月6日周四
  1. Together AI Blog74

    Together AI 实测对比 DeepSeek-V4 Flash 与 GPT-5.6 Luna 在 DeepSWE 的编码表现与成本

    Together AI 在 113 项 DeepSWE 真实编码任务上实测对比了 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,结果显示 Luna 准确率更高而 DeepSeek 单任务成本仅为其六分之一。

    推荐理由:评测展示了将廉价模型作为前置过滤并在失败时升级旗舰的级联方案,能以更低综合成本获取更高准确率。

6月23日周二
6月17日周三
  1. Together AI Blog61

    Kimi K2.7 Code 对比 Claude Fable 5:落地页生成成本降低 94%

    Together AI 测试对比了 Kimi K2.7 Code 与 Claude Fable 5 生成 12 个落地页的效果,结果显示 Kimi 生成成本比 Fable 5 降低约 94%,平均便宜约 16 倍且产出质量接近。

    推荐理由:测试展示了借助 MCP 补充多模态视觉参考来弥补开源代码模型设计短板的方案,同时大幅压缩落地页生成的调用成本。

5月19日周二