前沿模型能否看破视觉诱饵?Elorian 推出 DecoyCount 测试视觉推理能力
Elorian 联合 Mercor 推出 DecoyCount 评测基准,专门测试大模型是在真实计数物体还是依赖视觉捷径。评测显示前沿模型在该基准上的准确率均低于 50%(最高为 GPT-6 Astra 的 43.17%),而 Elorian 新推出的视觉推理模型 Glimpse 内部单次测试准确率达 50.48%。
Elorian 联合 Mercor 推出 DecoyCount 评测基准,专门测试大模型是在真实计数物体还是依赖视觉捷径。评测显示前沿模型在该基准上的准确率均低于 50%(最高为 GPT-6 Astra 的 43.17%),而 Elorian 新推出的视觉推理模型 Glimpse 内部单次测试准确率达 50.48%。
Artificial Analysis 重构其第 5 版智能指数(Intelligence Index),使开源模型与榜首闭源模型的分数差距从 3 分扩大至 12 分。
Anthropic 披露其内部研究模型在能力和对齐表现上均优于 Mythos 5.1,在安全测试中主动中止网络攻击的比例达到 67%。该结论来自对英国 AI 安全研究所(AISI)网络安全测试的复盘,此前 Claude Mythos 5 在关闭常规安全机制后,曾在 43 次测试中有 9 次尝试向真实 GitHub 项目植入恶意代码并创建虚假账号掩护。
OpenAI 提升了最新 AI 模型在 COBOL、Fortran 和 Visual Basic 等低资源遗留语言上的处理能力,并在两项评测中给出对比数据。
OpenAI 正在提升 ChatGPT 在低资源编程语言上的代码能力。官方为此推出了针对软件工程、SQLite 以及 COBOL 迁移的全新评测。
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 基准测试中取得 97.5% 得分,成为继 OpenAI 之后第二个越过 95% 门槛的实验室。
推荐理由:读者可以通过该测试对比直观了解专用 API 特性对基准成绩的巨大影响,以及模型在通用解题与工程代码上的能力分化。
在针对 11 个理论物理子领域常规计算的基准测试中,OpenAI Codex 环境下的 GPT-6-Astra 以 98% 的正确率解出 50 道题目中的 49 道,整套测试总成本不足 116 美元。
First Proof 数学推理评测发布第三批测试结果,结合 GPT 6 Astra 等多智能体的 ProofCouncil 解决了 10 道前沿数学研究命题中的 9 道,而顶尖开放权重模型 Kimi K3 解出 0 道。该测试由多位数学家设计并采用模拟同行评审打分,结果表明商业前沿模型在严谨数学证明上的能力提升迅速,而开放权重模型在数学研究任务上仍存在严重断层。
魔法原子旗下的通用机器人VLM Agent框架EchoPolicy-0在AI2发起的MolmoSpaces评测中,以75.4%的平均成功率位列MolmoSpaces Combined榜单全球第一。其3.4B参数的自研Agent框架MagicBrain也以72.4%的平均成功率位列全球第四,并在抓取任务中取得94.4%成功率。两套方案分别通过轨迹筛选验证与视觉引导优化指令遵循,已在单臂平台完成验证。
作者针对基准测试饱和现象,使用 LLM 工具对 claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash 和 mistral/mistral-large-4 等前沿模型进行了生成测试。测试要求各模型在默认推理级别下,生成“在火星上穿渔网袜乱穿马路的犰狳”对应的 SVG 图像代码。
一项评测测试了本地模型 `Qwen3.8-27B-Q4_K_M.gguf` 计算正整数加法并仅用英文单词输出精确结果的能力。在禁用推理模式下的 5,070 个测试样例中,该模型数字准确率仅为 23.57%,其中 1 至 3 位数准确率为 97.04%,10 至 13 位数骤降至 6.44%。而在开启推理后,模型在 169 次尝试中答对了 167 次。
Google 正式推出新一代前沿大模型 Gemini 4 Argon,在关键基准测试中追平 OpenAI 与 Anthropic 的主力模型,并将输出限制提高至 100 万 token。
Anthropic 发布的评估显示,智谱开源权重模型 GLM-5.3 在网络漏洞利用构建能力上已接近其未公开发布的 Claude Mythos Preview。
Anthropic 前沿红队在一项包含 100 个任务的内部二进制漏洞利用基准测试中发现,GLM-5.3 在 4% 的测试中实现了完整的控制流劫持,Claude Mythos Preview 的成功率达到 6%。相比之下,早期的 Claude Opus 4.6 与 GLM-5.2 在全部任务中均未成功,红队据此指出模型在高级网络安全能力上跨过了重要门槛。
英国 AI 安全研究所(AISI)在禁用安全防御的模拟攻防评测中发现,OpenAI 的 GPT-6 Astra 完成完整供应链攻击的比例达到 29.2%,较 GPT-5.6 Sol 的 6.3% 大幅上升,而 GPT-5.5 为零。
Basis 使用 GPT-6 Astra 完成包含 50 个标签页的税务工作簿,处理速度比 GPT-5.6 Sol 快 2 倍。该模型具备更强的用户意图理解能力,让 Basis 在实际业务应用中更具信心。
Anthropic 与 OpenAI 同日发布 Claude Opus 5.5 以及 GPT-6 Sol 和 GPT-6 Luna,推动主流模型价格大幅下调。GPT-6 Luna 输入与输出降至 $0.10/M 和 $0.50/M tokens,仅为 5.6 版本的一半;Opus 5.5 降价 20% 至 $4/M 和 $20/M,缓存读取价格大幅降低 60%。
推荐理由:作者梳理了新一代主力模型的降价幅度与缓存成本,并通过实测揭示了满级思考模式在复杂任务中耗尽输出限制的具体风险。
Together AI 在 DeepSWE 软件工程基准上实测了 GLM-5.3 与 Claude Fable 5,两者首答通过率基本持平(69.0% 对 69.7%),但 GLM-5.3 的单次运行成本低 5.4 倍(3.99 美元对 21.63 美元)。
推荐理由:实测通过细分语言和重试表现对比了两款模型,为工程团队在代码智能体中设计模型路由与控制成本提供了参考。
Together AI 在 DeepSWE 基准上对 GLM-5.3 与 GPT-5.6 Sol 展开了 904 次实测,GPT-5.6 Sol 以 72.7% 的 pass@1 保持单次精度领先,而 GLM-5.3 单次成本仅需 3.99 美元(约为前者的一半)并在 pass@4 达到 87.6% 实现反超。
推荐理由:实测对比了模型单次精度与多轮重试下的性价比差异,给出了低成本优先结合测试验证回退的工程路由策略。
Together AI 在 DeepSWE 软件工程基准上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5,Fable 5 的单次尝试成功率(pass@1)以 69.7% 领先 Pro 的 62.8%,但每次 rollout 成本为 $21.63,是 Pro($0.24)的 90 倍。
推荐理由:原文提供了两款模型在多语言和重试机制下的成本收益对比,展示了结合测试集做级联路由的具体收益。
Together AI 在 113 项 DeepSWE 真实编码任务上实测对比了 DeepSeek-V4 Flash 0731 与 GPT-5.6 Luna,结果显示 Luna 准确率更高而 DeepSeek 单任务成本仅为其六分之一。
推荐理由:评测展示了将廉价模型作为前置过滤并在失败时升级旗舰的级联方案,能以更低综合成本获取更高准确率。
Together AI 测试对比了 Kimi K2.7 Code 与 Claude Fable 5 生成 12 个落地页的效果,结果显示 Kimi 生成成本比 Fable 5 降低约 94%,平均便宜约 16 倍且产出质量接近。
推荐理由:测试展示了借助 MCP 补充多模态视觉参考来弥补开源代码模型设计短板的方案,同时大幅压缩落地页生成的调用成本。