2D-FET-Bench：从空间推理到薄片 FET 设计
2D-FET-Bench V2 包含 128 个基于显微薄片轮廓的任务，用于评测大语言模型智能体设计场效应管（FET）布局的空间推理能力。评测显示 GPT5.6-Luna 搭配 ReAct-3 表现最佳，取得 62.3% 的尝试通过率与 80.5% 的任务覆盖率。
#评测/基准
#评测/基准
今日 1 条arXiv cs.AIAI 评分3535 arXiv cs.AIAI 评分4949 验证并行编程智能体的协作：NP-Bench 与调度规划器
研究提出评测基准 NP-Bench 与集成在 Nerveplane 的调度规划器，通过事前划分作用域与排序合并，解决多编程智能体并行协作时的代码冲突。该规划器将真实 git 合并的无冲突集成场景从 1/9 提升至 9/9，合并冲突从 13 次降至 0，并在契约变更测试中使前沿模型集成率达 1.0。系统搭配跨会话记忆还将重复错误率从 1.00 降至 0.00。
arXiv cs.LGAI 评分3434 CLM-as-a-Judge：在公开裁判基准上评估开源对比决策模型
评测显示开源对比决策模型 CLM-v0.1-8B 在公开裁判基准上的表现接近随机水平，远落后于同参数量的奖励模型（0.764 至 0.976）与生成式裁判（0.611 至 0.778）。尽管其决策翻转率仅 0.0002 且校准后期望误差降至 0.062，但在 0.97 保留阈值下，置信度级联机制仍会将 0.923 至 1.000 的测试项升级转交给更强裁判。
GitHub Blog · AI & ML精选AI 评分6565 GitHub 推出 AI 代码审查开源评测基准 ReviewBench
GitHub 发布面向 AI 代码审查智能体的开源离线基准 ReviewBench，基于 1.039 亿真实拉取请求分布抽样构建了覆盖 19 种语言的 219 个公开拉取请求测试集。
推荐理由：ReviewBench 基于真实拉取请求分布构建，提供了与线上生产表现一致的离线评测信号，有助于客观比较代码审查智能体的实际表现。
arXiv cs.AIAI 评分3737 Ego2World：将第一人称烹饪视频编译为信念状态规划的可执行世界
Ego2World 提出一种将标注的第一人称烹饪视频转化为部分可观测可执行环境的评测基准，将真实世界状态与智能体信念分开维护。在 105 个任务上评测 6 种规划器显示，已执行操作常未能达成目标；Qwen-Plus 对照实验表明，持久信念使动作有效性提升 4.15 个百分点，视觉查询减少 90.27%，但 token 消耗更高且未见完成率提升。
arXiv cs.AIAI 评分4343 CuBEs：情境化文化行为评测与忽视文化的 LLM 裁判局限性
研究提出文化情境化行为评测框架 CuBEs，旨在评估大语言模型在不同文化背景下的行为模式与部署风险。该研究构建了涵盖 12 种文化的人工标注数据集，并对 13 款开源与闭源 LLM 展开评测。结果表明，忽视文化的标准评测会遗漏关键差异，而情境化测试能揭示非西方语境中宗教与殖民政治等全新偏见维度。
arXiv cs.AIAI 评分3838 TasteBench：从分子到可持续食品的感官预测多模态评测基准
TasteBench 多模态感官预测基准正式推出，涵盖基于 215 种植物基食品超 21K 次人工评估的食品排序任务，以及包含 15K 个风味分子的分类任务。基线测试显示，最佳模型在人类评分样本对上的成对准确率达 .661，优于单个人类评估员中位数的 .650，在所有同类对上达 .683。该研究已被 NeurIPS 2026 接收并开源代码。
arXiv cs.LGAI 评分4646 OpenGameEval：在有状态游戏引擎中评测智能体编程与探索能力
OpenGameEval 是一个在 Roblox Studio 中评估 AI 智能体游戏开发与探索能力的基准框架，现已以 MIT 协议开源。该基准提供 8 种操作工具以分离观察与编辑行为，并在 84 个核心任务上评测了 13 个前沿模型。结果显示最佳模型单次通过率为 51.7%，且提前检查目标对象的探索行为在纯场景任务中使通过率高出 13.4 个百分点。
arXiv cs.LGAI 评分3535 VisAudit：评估多模态智能体的可视化诊断与修复能力
研究人员推出评测基准 VisAudit，用于评估多模态智能体对数据可视化的诊断、代码修复与验证能力。该基准涵盖已诊断修复、自主修复和开放世界验证三个赛道，包含跨 21 种图表类型和 10 类缺陷的 1,900 个缺陷实例以及 300 个初始正确图表。实验显示，表现最强的前沿多模态模型在自主修复设置下仅能完全恢复 47.4% 的缺陷图表。
arXiv cs.LGAI 评分4444 Co-Design Gym：具身与策略联合优化的统一基准
研究人员推出基准测试套件 Co-Design Gym，用于联合优化智能体的具身形态与控制策略。该基准覆盖机器人操作与运动、多机器人协作、软体动力学、电网、无线网络及 F1 赛车等 20 个环境家族，共包含超过 85 个协同设计预设。此外，研究还对代表性协同设计算法展开了系统评估，为该领域的基准对比奠定了基础。
arXiv cs.LGAI 评分3030 TRACE：结合官方运营文本的电力价格预测基准
研究人员推出电力价格预测可复现基准 TRACE，包含 7,300 个 zone-day 实例，将美国主要市场 5 个区域的价格与预测截止时的官方运营文本配对以防止信息泄露。评测表明，该文本使时间序列基座模型的上尾 pinball loss 中位数降低 7.4%，而跨日文本不匹配消融实验则使增益逆转并低于无文本基线。
arXiv cs.LGAI 评分3737 99% 准确率的隐形成本：IBM Telco 客户流失基准的可信度审计
针对常报告超 95% 准确率的 IBM Telco 客户流失基准，一项审计研究揭示了传统准确率与 F1 指标掩盖的多项缺陷。实验发现划分前使用 SMOTE 会使流失类 F1 虚高 13.1 个百分点；在 50 USD 挽留方案下，成本最优决策阈值比 F1 最优低 5-10 倍，每 1,000 名客户可节省约 77,000 USD。研究据此提出了四要素报告清单并发布了可复现代码。
arXiv cs.LGAI 评分3535 ChartDensity-Bench：评测 MLLM 在视觉密度下的数值数据重构能力
ChartDensity-Bench 提出了针对 MLLM 从复合图表中重构结构化数值数据的评测基准。该基准通过调整同时呈现的图表数量（k∈{1,3,6,9}），从结构可靠性、完整性、可解析性及数值保真度四个维度评估密度衰减。对 5 款最新 MLLM 的实验表明，数值重构表现随视觉密度增加普遍下降，同一图表在更密集背景下的重构误差更高。
arXiv cs.LGAI 评分3737 MM-FinEval：面向真实金融预测的多任务多模态评测基准
研究人员推出多模态金融预测评测基准 MM-FinEval，涵盖 2,045 场标普 500 财报电话会议及 12 个金融任务标签。输入数据整合了逐字文本、演示幻灯片与完整音频三种模态，并评估了 19 个基线模型。结果显示，处理三模态的小型 Any-to-Any 模型表现强劲，甚至超越仅支持双模态输入的更大专有模型。
arXiv cs.AIAI 评分4444 ReLiveGym：在数周回放的真实数据流中评测长周期智能体
研究人员推出长周期任务评测环境 ReLiveGym，用于评测大语言模型智能体在数周回放的新闻、市场与社交媒体真实数据流中的稀疏行动表现。基于 8 款基础语言模型的测试显示，决定行动时机的 harness 设计与模型选择直接影响智能体表现，且最优方案因任务而异。研究还评测了后验反馈对改善长周期任务失败模式的作用。
arXiv cs.AIAI 评分3535 基于本体与推理机验证的科学 AI 大语言模型推理评测基准
研究者提出一种从 OWL 2 本体自动生成多选题基准的流程，干扰项经 OWL 推理机形式化验证，用于评测大语言模型的科学逻辑推理能力。该流程在 Pizza、PMDco 和 DOID 本体上分别生成 112、2,491 和 15,216 道题目。对 6 款大语言模型的零样本评测显示准确率为 41.1% 至 76.8%，体现出高挑战性与区分度。
arXiv cs.AIAI 评分4141 Incident-Arena：让智能体迈向极高可靠性
研究团队推出 Incident-Arena 基准，用于评估 AI 智能体在生产环境中的故障响应与 SRE（站点可靠性工程）能力。该基准包含在临时 Kubernetes 集群中部署的 20 个真实任务与功能验证机制，智能体测试平均耗费 2.81M tokens 与 41 轮交互。评测显示前沿模型得分均低于 64.3%，失败原因涵盖诊断定位错误、修复不完整与不安全回归。
arXiv cs.AIAI 评分3535 CompMat-Bench：面向计算材料科学的 AI 智能体评测基准
CompMat-Bench 是面向计算材料科学的 AI 智能体评测基准，包含来自近期研究的 94 个任务，通过预先复现模拟输入与输出并按固定规则评分，避免了评测中的昂贵模拟。在单任务完整指导条件下，基于 3 个 LLM 的智能体通过率为 66.0-90.4%。长工作流与精简指导会降低表现，且多数失败源于科学错误而非软件使用错误。
arXiv cs.AIAI 评分4444 Legal Research Bench：评测长程法律研究智能体的端到端可靠性
研究者推出 Legal Research Bench（LRB），通过 413 道专家编写的开放式美国法律问题，评测长程法律研究智能体的端到端可靠性。在配备判例检索等工具的环境中，13 个前沿模型接受全通过与法源验证评分，表现最好的 Claude Opus 4.8 完全正确率仅为 42.9%。结果显示，更多交互轮次、工具调用和推理成本并不能带来更高准确率。
arXiv cs.AIAI 评分3535 用国际象棋评测大语言模型的提示词优化
研究人员推出基于 1,118 道 Lichess 残局的国际象棋基准，用于评测 6 种自动提示词优化（APO）算法在 8 个大语言模型上的表现。评测中最强的 Gemini 3.5 Flash 解题率仅约 55%，基准可测试优化提示词跨模型迁移及棋局实战的效果。该基准支持题目动态更新防污染，完整运行成本约 $800，相关代码与题目集均已开源。
arXiv cs.AIAI 评分2929 Build2SPARQL：用于建筑知识图谱查询的大规模 Text-to-SPARQL 基准数据集
研究者推出了面向建筑知识图谱的大规模 Text-to-SPARQL 基准数据集 Build2SPARQL，涵盖 201 个建筑知识图谱、6,136 条可执行 SPARQL 查询与 30,680 个自然语言问题。该数据集由图遍历代码生成并验证查询，仅由大语言模型生成问题。在三款开源权重语言模型的检索增强评测中，精准匹配率从零样本的 0.2-20% 提升至检索三样本的 56-65%，数据集已公开发布。
arXiv stat.MLAI 评分3636 M^2Weather：联合多站点与多变量气象预测基准
研究团队推出气象预测基准 M^2Weather，涵盖法国、欧洲与全球 3 个尺度的 2,809 个站点及 5 个物理耦合气象变量。该基准提供统一训练与评估协议，并设计了无需重训即可补全缺失关系的即插即用 adapter。对 16 个代表性模型的评测表明联合建模提升明显，补全关联后所有适配模型在 3 个数据集上的 MSE 均进一步降低，代码已开源。
arXiv cs.AIAI 评分3636 风险感知自适应评测：在有限预算下发现高影响故障
研究提出一种用于交互式 AI 智能体的风险感知情境 Thompson Sampling 评测策略，通过自适应分配测试预算优先挖掘高影响故障。在 70 个 $\tau$-bench 航空场景实验中，仅用 50 次测试（语料库的 6%）即找回 86% 的影响加权故障，发现量达均匀分配的 3.5x。该策略提供 5x 的单成本发现效率，并将零故障场景的预算浪费从 34% 降至 2.8%。
arXiv cs.AIAI 评分3535 科学搜索智能体在何处失效：基于决策检查点的暴露与检查审计
新研究提出决策检查点机制，通过记录推理时的观察与工具动作，审计科学搜索智能体在论文暴露与检查阶段的具体失效环节。在 540 道 AutoResearchBench Deep 问题测试中，关键词搜索准确率为 24.6%，高于原始搜索的 17.8%。read-first 策略的证据搜索调用量高出 27.4%，两者分别在 199 与 191 道题尝试检查目标，准确率均为 24.6%。
arXiv cs.AIAI 评分4242 AgBench：面向个人 AI 设备的智能体 AI 评测基准
评测基准 AgBench 专注于个人 AI 设备，用于评估智能体在本地、混合与云端部署下的任务成功率、延迟、云 API 成本及数据暴露。基于超 162.07 million 数据点的测试表明，纯本地执行可消除云端 API 成本并避免敏感数据外泄，但成功率更低且耗时更长。混合执行能提升任务成功率，综合表现取决于工作划分与设备能力。
arXiv cs.AIAI 评分4444 大语言模型临床分诊推荐评测：与执业医生对比基准研究
一项关于大语言模型临床分诊的评测研究发现，LLM 比执业医生更易推荐不必要的医疗护理，且该倾向在文本扰动下进一步加剧。该基准涵盖超 6,000 个临床场景、7,000 条医生标注及 225,000 个模型响应。测试表明，LLM 的分诊建议易受性别与语气等临床无关文本变化的影响，敏感度明显高于人类医生。
arXiv cs.AIAI 评分4747 VAmoS Part Deux：更难、更真实的语音智能体模拟基准
VAmoS Energy 语音智能体基准测试推出，通过 100 通公用事业账单与缴费电话评估智能体处理多请求和带状态工具调用的能力。测试覆盖 14 种语音技术栈，任务完成率仅为 17.3% 至 44.7%，Grok Voice 表现领先，Gemini 3.8 Live 与 GPT-Live 紧随其后。背景电视声音会导致综合完成率从 38.7% 骤降至 8.6%。
arXiv cs.AIAI 评分3636 ArgGYM：面向结构化可废止推理的程序化引擎验证基准
研究人员推出 ArgGYM，这是一个面向结构化可废止推理的程序化基准与兼容 RLVR 的训练环境。它将推理拆解为 12 项任务并通过符号论证引擎进行形式化状态验证打分，包含跨 15 种课程配置的 1,440 个固定验证实例。该基准、生成器和验证器均已开源，支持动态生成新样本以降低对静态测试集的依赖并用于强化学习训练。
Cloudflare BlogAI 评分5959 Cloudflare 使用前沿大模型对抗测试自家 WAF 表现
Cloudflare 采用前沿大语言模型构建动态测试循环对其 WAF 进行黑盒对抗测试，在 1,107 次变异攻击尝试中拦截了绝大部分请求，并筛选出 49 项值得排查的绕过线索。测试覆盖 XSS、SQLi、CMDi 和 SSRF 等 6 类常见攻击场景，发现绕过案例主要集中在命令注入与 SSRF 的特殊编码形式；官方据此在托管规则集中新增了混淆主机与受限协议检测，进一步修补了规则漏洞。
arXiv cs.AIAI 评分4141 MAADBench：多智能体系统异常检测的可刷新基准范式
研究人员推出首个多智能体系统异常检测的可刷新基准 MAADBench，旨在解决基于 LLM 的系统故障率达 41%-87% 的问题。该基准覆盖约 10^37 任务空间并自动生成步骤级标签，同时开源了包含 5,200 条标注轨迹的 MAADBench-Full 数据集。对 25 种异常检测方法的评测显示，现有方案严重依赖监督且跨 LLM 主干时缺乏鲁棒性。
arXiv cs.AIAI 评分2828 GeoOutageBench：面向多模态停电与韧性分析的地理时空 KGQA 评测基准
研究团队推出评测基准 GeoOutageBench，用于评估大语言模型在多模态停电与电力韧性分析中的地理时空知识图谱问答（KGQA）能力。该基准整合了停电记录、遥感与气象观测等多模态数据，涵盖自然语言转 SPARQL 解析、本体效用评估以及多模态检索回答准确率三项核心评测任务。目前该基准的源码、数据及评测结果已公开发布。
arXiv cs.AIAI 评分3535 PowerZooJax：基于 JAX 的电力系统强化学习评测基准
开源评测基准 PowerZooJax 基于 JAX 构建，将电力系统强化学习的完整训练与评估流程保留在 GPU 上。它涵盖发电、输电、配电、分布式能源和数据中心微电网 5 个任务，并将潮流计算、经济调度及设备动态重写为 JAX 计算图。其相比 CPU 仿真实现大幅加速，支持对策略回报、安全违规和分布外压力条件的标准化评测。
Apple ML ResearchAI 评分5353 Apple 提出持续学习智能体训练与评估底座 SCLATE
Apple 研究团队提出持续学习智能体训练与评估底座 SCLATE，支持将基准测试与未经修改的智能体接入统一的开放事件调度器中。框架采用混合模拟时钟在智能体工作时实时推进并跳过空闲间隙，将长达一个月的交互场景压缩至数小时，同时通过容器内代理完整记录所有调用的 token 与对数概率。
OpenAI NewsAI 评分3434 Basis 使用 GPT-6 Astra 将税务工作簿完成速度提升 2 倍
Basis 使用 GPT-6 Astra 完成包含 50 个标签页的税务工作簿，处理速度比 GPT-5.6 Sol 快 2 倍。该模型具备更强的用户意图理解能力，让 Basis 在实际业务应用中更具信心。
OpenAI NewsAI 评分3131 OpenAI 推出心理健康评测基准 MentalHealthBench
OpenAI 推出基准评测 MentalHealthBench。该基准结合专家知识构建，旨在评估 AI 在真实心理健康对话场景中回复的有效性与安全性。
Apple ML ResearchAI 评分3535 REVERSAL-BENCH：测量无重置强化学习断崖的可逆性维度与 reset oracle
研究团队推出强化学习基准 REVERSAL-BENCH，通过连续参数 ρ ∈ [0, 1] 控制可逆性，并在 5 个物理引擎的 8 种操作场景中提供状态可恢复性验证机制 reset oracle。评测揭示了显著的可逆性断崖：无重置智能体会随 ρ 增大永久陷入不可恢复状态并导致学习停滞。团队同步发布了该基准套件、标注可恢复性的多仿真器数据集以及 reset oracle。
NVIDIA BlogAI 评分5858 NVIDIA Vera Rubin NVL72 亮相 MLPerf Inference v6.1 评测并公布性能数据
NVIDIA 公布 MLPerf Inference v6.1 评测结果，其新系统 Vera Rubin NVL72 在 Qwen3-VL 上的吞吐量达到 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上吞吐量提升达 2.5 倍。
Google DeepMind精选AI 评分6060 Google DeepMind 试点双盲 AI 评测机制
Google DeepMind 联合新加坡 AI 安全局、OpenMined、AVERI 与 MLCommons 试点双盲 AI 评测机制，以解决基准测试污染问题。该方案将测试置于加密隐私保护环境中运行 Gemini Flash Lite 模型，确保专有前沿模型无法提前接触外部评测提示词，防止人为拉高跑分并提升评测可信度。
推荐理由：原文介绍了利用加密环境隔绝基准测试题目的机制，为解决大模型评测污染和分数虚高提供了具体方案。
Together AI Blog精选AI 评分7373 GLM-5.3 与 Claude Fable 5 在 DeepSWE 基准下的成本与编程能力对比
Together AI 在 DeepSWE 软件工程基准上实测了 GLM-5.3 与 Claude Fable 5，两者首答通过率基本持平（69.0% 对 69.7%），但 GLM-5.3 的单次运行成本低 5.4 倍（3.99 美元对 21.63 美元）。
推荐理由：实测通过细分语言和重试表现对比了两款模型，为工程团队在代码智能体中设计模型路由与控制成本提供了参考。
Together AI Blog精选AI 评分7474 GLM-5.3 与 GPT-5.6 Sol 在 DeepSWE 上的对比评测：成本、编码与路由策略
Together AI 在 DeepSWE 基准上对 GLM-5.3 与 GPT-5.6 Sol 展开了 904 次实测，GPT-5.6 Sol 以 72.7% 的 pass@1 保持单次精度领先，而 GLM-5.3 单次成本仅需 3.99 美元（约为前者的一半）并在 pass@4 达到 87.6% 实现反超。
推荐理由：实测对比了模型单次精度与多轮重试下的性价比差异，给出了低成本优先结合测试验证回退的工程路由策略。