AMD ROCm 与 Vulkan 在 Lemonade 本地 AI 服务器运行 llama.cpp 的性能对比
Phoronix 在两套搭载 AMD Radeon 显卡的系统上展开基准测试，对比了 Lemonade 本地 AI 服务器在运行 llama.cpp 时 AMD ROCm 与 Vulkan 后端的 AI 性能表现。该测试旨在探索两类后端在当前本地 AI 部署场景下的实际性能差异。
#评测/基准
#评测/基准
今日 1 条PhoronixAI 评分3030 arXiv cs.AIAI 评分3737 Ego2World：将第一人称烹饪视频编译为信念状态规划的可执行世界
Ego2World 提出一种将标注的第一人称烹饪视频转化为部分可观测可执行环境的评测基准，将真实世界状态与智能体信念分开维护。在 105 个任务上评测 6 种规划器显示，已执行操作常未能达成目标；Qwen-Plus 对照实验表明，持久信念使动作有效性提升 4.15 个百分点，视觉查询减少 90.27%，但 token 消耗更高且未见完成率提升。
arXiv cs.AIAI 评分4343 CuBEs：情境化文化行为评测与忽视文化的 LLM 裁判局限性
研究提出文化情境化行为评测框架 CuBEs，旨在评估大语言模型在不同文化背景下的行为模式与部署风险。该研究构建了涵盖 12 种文化的人工标注数据集，并对 13 款开源与闭源 LLM 展开评测。结果表明，忽视文化的标准评测会遗漏关键差异，而情境化测试能揭示非西方语境中宗教与殖民政治等全新偏见维度。
arXiv cs.AIAI 评分3838 TasteBench：从分子到可持续食品的感官预测多模态评测基准
TasteBench 多模态感官预测基准正式推出，涵盖基于 215 种植物基食品超 21K 次人工评估的食品排序任务，以及包含 15K 个风味分子的分类任务。基线测试显示，最佳模型在人类评分样本对上的成对准确率达 .661，优于单个人类评估员中位数的 .650，在所有同类对上达 .683。该研究已被 NeurIPS 2026 接收并开源代码。
arXiv cs.LGAI 评分4646 OpenGameEval：在有状态游戏引擎中评测智能体编程与探索能力
OpenGameEval 是一个在 Roblox Studio 中评估 AI 智能体游戏开发与探索能力的基准框架，现已以 MIT 协议开源。该基准提供 8 种操作工具以分离观察与编辑行为，并在 84 个核心任务上评测了 13 个前沿模型。结果显示最佳模型单次通过率为 51.7%，且提前检查目标对象的探索行为在纯场景任务中使通过率高出 13.4 个百分点。
arXiv cs.LGAI 评分3535 VisAudit：评估多模态智能体的可视化诊断与修复能力
研究人员推出评测基准 VisAudit，用于评估多模态智能体对数据可视化的诊断、代码修复与验证能力。该基准涵盖已诊断修复、自主修复和开放世界验证三个赛道，包含跨 21 种图表类型和 10 类缺陷的 1,900 个缺陷实例以及 300 个初始正确图表。实验显示，表现最强的前沿多模态模型在自主修复设置下仅能完全恢复 47.4% 的缺陷图表。
arXiv cs.LGAI 评分4444 Co-Design Gym：具身与策略联合优化的统一基准
研究人员推出基准测试套件 Co-Design Gym，用于联合优化智能体的具身形态与控制策略。该基准覆盖机器人操作与运动、多机器人协作、软体动力学、电网、无线网络及 F1 赛车等 20 个环境家族，共包含超过 85 个协同设计预设。此外，研究还对代表性协同设计算法展开了系统评估，为该领域的基准对比奠定了基础。
arXiv cs.LGAI 评分3030 TRACE：结合官方运营文本的电力价格预测基准
研究人员推出电力价格预测可复现基准 TRACE，包含 7,300 个 zone-day 实例，将美国主要市场 5 个区域的价格与预测截止时的官方运营文本配对以防止信息泄露。评测表明，该文本使时间序列基座模型的上尾 pinball loss 中位数降低 7.4%，而跨日文本不匹配消融实验则使增益逆转并低于无文本基线。
arXiv cs.LGAI 评分3737 99% 准确率的隐形成本：IBM Telco 客户流失基准的可信度审计
针对常报告超 95% 准确率的 IBM Telco 客户流失基准，一项审计研究揭示了传统准确率与 F1 指标掩盖的多项缺陷。实验发现划分前使用 SMOTE 会使流失类 F1 虚高 13.1 个百分点；在 50 USD 挽留方案下，成本最优决策阈值比 F1 最优低 5-10 倍，每 1,000 名客户可节省约 77,000 USD。研究据此提出了四要素报告清单并发布了可复现代码。
arXiv cs.LGAI 评分3535 ChartDensity-Bench：评测 MLLM 在视觉密度下的数值数据重构能力
ChartDensity-Bench 提出了针对 MLLM 从复合图表中重构结构化数值数据的评测基准。该基准通过调整同时呈现的图表数量（k∈{1,3,6,9}），从结构可靠性、完整性、可解析性及数值保真度四个维度评估密度衰减。对 5 款最新 MLLM 的实验表明，数值重构表现随视觉密度增加普遍下降，同一图表在更密集背景下的重构误差更高。
arXiv cs.LGAI 评分3737 MM-FinEval：面向真实金融预测的多任务多模态评测基准
研究人员推出多模态金融预测评测基准 MM-FinEval，涵盖 2,045 场标普 500 财报电话会议及 12 个金融任务标签。输入数据整合了逐字文本、演示幻灯片与完整音频三种模态，并评估了 19 个基线模型。结果显示，处理三模态的小型 Any-to-Any 模型表现强劲，甚至超越仅支持双模态输入的更大专有模型。
The Verge · AIAI 评分7070 The Verge 实测 OpenAI 智能体 Dot：定位偏向办公生产力而非生活助手
The Verge 对 OpenAI 推出的智能体平台 Dots 进行了上手实测，指出该产品定位更接近能操作其他软件的企业协同工具，而非个人生活助理。实测显示 Dot 在预约服务或账户查询等日常网页任务中极易卡在人机验证环节，但在授予电脑权限后能较好地完成视频剪辑与网站代码部署。该功能目前优先向每月 100 美元的 Pro 等高级账户开放。
The DecoderAI 评分5858 AI 在结构化记账速度与准确率上超越注册会计师，但仍无法脱离人类监督独立结账
Mercor 基于 APEX Accounting 基准的研究显示，AI 模型在结构化记账任务上的速度、准确率和成本均已超越持证注册会计师。在涵盖 10 家模拟公司、160 项任务的完整基准测试中，Claude Opus 5.5 以 61.8% 的评分达标率居首，Fable 5.1（61.0%）和 GPT-6 Astra（57.9%）紧随其后。
Scientific AmericanAI 评分6666 全球数学家为 Epoch AI 列出 50 个重大未解数学难题
全球数学家应 Epoch AI 邀请联合评选出 50 个高难度前沿数学难题，核心要求是所有题目的解法必须能够被程序自动验证，用作评估 AI 前沿推理能力的基准。该清单涵盖代数、拓扑、数论等领域，包含三个立方和问题、孤独跑者猜想与琼斯平结猜想等经典挑战。截至 9 月已有部分题目取得进展，其中关于委员会选举公平性的核心问题已被人类研究人员借助 AI 与 Lean 证明助手共同攻克。
arXiv cs.AIAI 评分4444 ReLiveGym：在数周回放的真实数据流中评测长周期智能体
研究人员推出长周期任务评测环境 ReLiveGym，用于评测大语言模型智能体在数周回放的新闻、市场与社交媒体真实数据流中的稀疏行动表现。基于 8 款基础语言模型的测试显示，决定行动时机的 harness 设计与模型选择直接影响智能体表现，且最优方案因任务而异。研究还评测了后验反馈对改善长周期任务失败模式的作用。
arXiv cs.AIAI 评分3535 基于本体与推理机验证的科学 AI 大语言模型推理评测基准
研究者提出一种从 OWL 2 本体自动生成多选题基准的流程，干扰项经 OWL 推理机形式化验证，用于评测大语言模型的科学逻辑推理能力。该流程在 Pizza、PMDco 和 DOID 本体上分别生成 112、2,491 和 15,216 道题目。对 6 款大语言模型的零样本评测显示准确率为 41.1% 至 76.8%，体现出高挑战性与区分度。
arXiv cs.AIAI 评分4141 Incident-Arena：让智能体迈向极高可靠性
研究团队推出 Incident-Arena 基准，用于评估 AI 智能体在生产环境中的故障响应与 SRE（站点可靠性工程）能力。该基准包含在临时 Kubernetes 集群中部署的 20 个真实任务与功能验证机制，智能体测试平均耗费 2.81M tokens 与 41 轮交互。评测显示前沿模型得分均低于 64.3%，失败原因涵盖诊断定位错误、修复不完整与不安全回归。
arXiv cs.AIAI 评分3535 CompMat-Bench：面向计算材料科学的 AI 智能体评测基准
CompMat-Bench 是面向计算材料科学的 AI 智能体评测基准，包含来自近期研究的 94 个任务，通过预先复现模拟输入与输出并按固定规则评分，避免了评测中的昂贵模拟。在单任务完整指导条件下，基于 3 个 LLM 的智能体通过率为 66.0-90.4%。长工作流与精简指导会降低表现，且多数失败源于科学错误而非软件使用错误。
arXiv cs.AIAI 评分4444 Legal Research Bench：评测长程法律研究智能体的端到端可靠性
研究者推出 Legal Research Bench（LRB），通过 413 道专家编写的开放式美国法律问题，评测长程法律研究智能体的端到端可靠性。在配备判例检索等工具的环境中，13 个前沿模型接受全通过与法源验证评分，表现最好的 Claude Opus 4.8 完全正确率仅为 42.9%。结果显示，更多交互轮次、工具调用和推理成本并不能带来更高准确率。
arXiv cs.AIAI 评分3535 用国际象棋评测大语言模型的提示词优化
研究人员推出基于 1,118 道 Lichess 残局的国际象棋基准，用于评测 6 种自动提示词优化（APO）算法在 8 个大语言模型上的表现。评测中最强的 Gemini 3.5 Flash 解题率仅约 55%，基准可测试优化提示词跨模型迁移及棋局实战的效果。该基准支持题目动态更新防污染，完整运行成本约 $800，相关代码与题目集均已开源。
arXiv cs.AIAI 评分2929 Build2SPARQL：用于建筑知识图谱查询的大规模 Text-to-SPARQL 基准数据集
研究者推出了面向建筑知识图谱的大规模 Text-to-SPARQL 基准数据集 Build2SPARQL，涵盖 201 个建筑知识图谱、6,136 条可执行 SPARQL 查询与 30,680 个自然语言问题。该数据集由图遍历代码生成并验证查询，仅由大语言模型生成问题。在三款开源权重语言模型的检索增强评测中，精准匹配率从零样本的 0.2-20% 提升至检索三样本的 56-65%，数据集已公开发布。
arXiv stat.MLAI 评分3636 M^2Weather：联合多站点与多变量气象预测基准
研究团队推出气象预测基准 M^2Weather，涵盖法国、欧洲与全球 3 个尺度的 2,809 个站点及 5 个物理耦合气象变量。该基准提供统一训练与评估协议，并设计了无需重训即可补全缺失关系的即插即用 adapter。对 16 个代表性模型的评测表明联合建模提升明显，补全关联后所有适配模型在 3 个数据集上的 MSE 均进一步降低，代码已开源。
arXiv cs.AIAI 评分3636 风险感知自适应评测：在有限预算下发现高影响故障
研究提出一种用于交互式 AI 智能体的风险感知情境 Thompson Sampling 评测策略，通过自适应分配测试预算优先挖掘高影响故障。在 70 个 $\tau$-bench 航空场景实验中，仅用 50 次测试（语料库的 6%）即找回 86% 的影响加权故障，发现量达均匀分配的 3.5x。该策略提供 5x 的单成本发现效率，并将零故障场景的预算浪费从 34% 降至 2.8%。
arXiv cs.AIAI 评分3535 科学搜索智能体在何处失效：基于决策检查点的暴露与检查审计
新研究提出决策检查点机制，通过记录推理时的观察与工具动作，审计科学搜索智能体在论文暴露与检查阶段的具体失效环节。在 540 道 AutoResearchBench Deep 问题测试中，关键词搜索准确率为 24.6%，高于原始搜索的 17.8%。read-first 策略的证据搜索调用量高出 27.4%，两者分别在 199 与 191 道题尝试检查目标，准确率均为 24.6%。
arXiv cs.AIAI 评分4242 AgBench：面向个人 AI 设备的智能体 AI 评测基准
评测基准 AgBench 专注于个人 AI 设备，用于评估智能体在本地、混合与云端部署下的任务成功率、延迟、云 API 成本及数据暴露。基于超 162.07 million 数据点的测试表明，纯本地执行可消除云端 API 成本并避免敏感数据外泄，但成功率更低且耗时更长。混合执行能提升任务成功率，综合表现取决于工作划分与设备能力。
arXiv cs.AIAI 评分4444 大语言模型临床分诊推荐评测：与执业医生对比基准研究
一项关于大语言模型临床分诊的评测研究发现，LLM 比执业医生更易推荐不必要的医疗护理，且该倾向在文本扰动下进一步加剧。该基准涵盖超 6,000 个临床场景、7,000 条医生标注及 225,000 个模型响应。测试表明，LLM 的分诊建议易受性别与语气等临床无关文本变化的影响，敏感度明显高于人类医生。
arXiv cs.AIAI 评分4747 VAmoS Part Deux：更难、更真实的语音智能体模拟基准
VAmoS Energy 语音智能体基准测试推出，通过 100 通公用事业账单与缴费电话评估智能体处理多请求和带状态工具调用的能力。测试覆盖 14 种语音技术栈，任务完成率仅为 17.3% 至 44.7%，Grok Voice 表现领先，Gemini 3.8 Live 与 GPT-Live 紧随其后。背景电视声音会导致综合完成率从 38.7% 骤降至 8.6%。
arXiv cs.AIAI 评分3636 ArgGYM：面向结构化可废止推理的程序化引擎验证基准
研究人员推出 ArgGYM，这是一个面向结构化可废止推理的程序化基准与兼容 RLVR 的训练环境。它将推理拆解为 12 项任务并通过符号论证引擎进行形式化状态验证打分，包含跨 15 种课程配置的 1,440 个固定验证实例。该基准、生成器和验证器均已开源，支持动态生成新样本以降低对静态测试集的依赖并用于强化学习训练。
Cloudflare BlogAI 评分5959 Cloudflare 使用前沿大模型对抗测试自家 WAF 表现
Cloudflare 采用前沿大语言模型构建动态测试循环对其 WAF 进行黑盒对抗测试，在 1,107 次变异攻击尝试中拦截了绝大部分请求，并筛选出 49 项值得排查的绕过线索。测试覆盖 XSS、SQLi、CMDi 和 SSRF 等 6 类常见攻击场景，发现绕过案例主要集中在命令注入与 SSRF 的特殊编码形式；官方据此在托管规则集中新增了混淆主机与受限协议检测，进一步修补了规则漏洞。
The DecoderAI 评分7575 Google 发布 Gemini 4 Argon 前沿模型，缩小与 OpenAI 及 Anthropic 差距
Google 正式推出新一代前沿大模型 Gemini 4 Argon，在关键基准测试中追平 OpenAI 与 Anthropic 的主力模型，并将输出限制提高至 100 万 token。
arXiv cs.AIAI 评分4141 MAADBench：多智能体系统异常检测的可刷新基准范式
研究人员推出首个多智能体系统异常检测的可刷新基准 MAADBench，旨在解决基于 LLM 的系统故障率达 41%-87% 的问题。该基准覆盖约 10^37 任务空间并自动生成步骤级标签，同时开源了包含 5,200 条标注轨迹的 MAADBench-Full 数据集。对 25 种异常检测方法的评测显示，现有方案严重依赖监督且跨 LLM 主干时缺乏鲁棒性。
arXiv cs.AIAI 评分2828 GeoOutageBench：面向多模态停电与韧性分析的地理时空 KGQA 评测基准
研究团队推出评测基准 GeoOutageBench，用于评估大语言模型在多模态停电与电力韧性分析中的地理时空知识图谱问答（KGQA）能力。该基准整合了停电记录、遥感与气象观测等多模态数据，涵盖自然语言转 SPARQL 解析、本体效用评估以及多模态检索回答准确率三项核心评测任务。目前该基准的源码、数据及评测结果已公开发布。
arXiv cs.AIAI 评分3535 PowerZooJax：基于 JAX 的电力系统强化学习评测基准
开源评测基准 PowerZooJax 基于 JAX 构建，将电力系统强化学习的完整训练与评估流程保留在 GPU 上。它涵盖发电、输电、配电、分布式能源和数据中心微电网 5 个任务，并将潮流计算、经济调度及设备动态重写为 JAX 计算图。其相比 CPU 仿真实现大幅加速，支持对策略回报、安全违规和分布外压力条件的标准化评测。
The DecoderAI 评分7474 Anthropic 称智谱开源模型 GLM-5.3 的漏洞利用构建能力已逼近 Claude Mythos Preview
Anthropic 发布的评估显示，智谱开源权重模型 GLM-5.3 在网络漏洞利用构建能力上已接近其未公开发布的 Claude Mythos Preview。
Apple ML ResearchAI 评分5353 Apple 提出持续学习智能体训练与评估底座 SCLATE
Apple 研究团队提出持续学习智能体训练与评估底座 SCLATE，支持将基准测试与未经修改的智能体接入统一的开放事件调度器中。框架采用混合模拟时钟在智能体工作时实时推进并跳过空闲间隙，将长达一个月的交互场景压缩至数小时，同时通过容器内代理完整记录所有调用的 token 与对数概率。
Simon WillisonAI 评分6868 Anthropic 前沿红队测试显示 GLM-5.3 与 Claude Mythos Preview 具备二进制漏洞利用能力
Anthropic 前沿红队在一项包含 100 个任务的内部二进制漏洞利用基准测试中发现，GLM-5.3 在 4% 的测试中实现了完整的控制流劫持，Claude Mythos Preview 的成功率达到 6%。相比之下，早期的 Claude Opus 4.6 与 GLM-5.2 在全部任务中均未成功，红队据此指出模型在高级网络安全能力上跨过了重要门槛。
The DecoderAI 评分7474 英国 AI 安全研究所评测显示 GPT-6 Astra 越权网络攻击率比前代激增五倍
英国 AI 安全研究所（AISI）在禁用安全防御的模拟攻防评测中发现，OpenAI 的 GPT-6 Astra 完成完整供应链攻击的比例达到 29.2%，较 GPT-5.6 Sol 的 6.3% 大幅上升，而 GPT-5.5 为零。
OpenAI NewsAI 评分3434 Basis 使用 GPT-6 Astra 将税务工作簿完成速度提升 2 倍
Basis 使用 GPT-6 Astra 完成包含 50 个标签页的税务工作簿，处理速度比 GPT-5.6 Sol 快 2 倍。该模型具备更强的用户意图理解能力，让 Basis 在实际业务应用中更具信心。
OpenAI NewsAI 评分3131 OpenAI 推出心理健康评测基准 MentalHealthBench
OpenAI 推出基准评测 MentalHealthBench。该基准结合专家知识构建，旨在评估 AI 在真实心理健康对话场景中回复的有效性与安全性。
Simon Willison精选AI 评分8686 Claude Opus 5.5 与 GPT-6 Sol、Luna 引发新价格战及实测初体验
Anthropic 与 OpenAI 同日发布 Claude Opus 5.5 以及 GPT-6 Sol 和 GPT-6 Luna，推动主流模型价格大幅下调。GPT-6 Luna 输入与输出降至 $0.10/M 和 $0.50/M tokens，仅为 5.6 版本的一半；Opus 5.5 降价 20% 至 $4/M 和 $20/M，缓存读取价格大幅降低 60%。
推荐理由：作者梳理了新一代主力模型的降价幅度与缓存成本，并通过实测揭示了满级思考模式在复杂任务中耗尽输出限制的具体风险。