大宣称与微弱差距：GraphLLM 报告的性能提升能否经受住简单基线检验？
新研究发现，用于文本属性图节点分类的简单基线仅落后 GraphLLM 最佳报告性能中位数 2.3 个百分点，在 24 项任务中有 15 项差距在 3 个百分点以内。虽然 GraphLLM 在 22 项可测任务中有 12 项仍显著更优，但代码审查发现诸多评测风险，包括测试集调参、测试标签用于训练，以及同方法报告差异最高达 12.5 个百分点。
#评测/基准
#评测/基准
今日 1 条arXiv cs.LGAI 评分3636
arXiv quant-phAI 评分3737 量子代码生成 LLM 评测审计：基准缺陷与评估偏差调查
新研究对 5 个量子代码生成测试集及自建的 QBE 基准展开审计，揭示现有大语言模型量子评测存在严重的评估器设计偏差与测试缺陷。仅改变评估器规则，GPT-6 Astra 在模型输出完全一致的前提下，QBE pass@1 便从 0% 骤增至 94.1%，同时 QuanBench-117 等基准被证实存在测试泄漏与未执行用例。研究团队已开源评测框架与审计产物。
arXiv cs.AIAI 评分4141 DuplexLedger：全双工语音 AI 智能体事务性记忆评测基准
研究人员推出双语评测基准 DuplexLedger，包含 1,094 个持久会话与 6,564 个同会话问题，用于评估全双工语音 AI 智能体在听写交互中的事务性记忆能力。
arXiv cs.AIAI 评分3535 TxnQA：针对交易事件序列分析推理与证据溯源的评测基准
研究人员推出交易事件序列分析问答基准 TxnQA，涵盖 27 个任务族及 5 场景欺诈风险推理套件，用于评估模型判定与支持证据。评测显示 Gemma-4-31B-IT 与 Qwen3-8B 的端到端正确率（E2E）分别达 0.867 和 0.816，优于 MoE 模型的 0.632-0.713。在 500 个样本的欺诈套件中，判定准确率常超 80%，但要求精确证据归因的联合准确率最高仅约 23%。
arXiv cs.AIAI 评分4949 EGI-BENCH：企业通用智能评测基准套件发布
研究团队发布统一的大语言模型智能体评测基准套件 EGI-BENCH，整合了 CRMARENA、MCP-UNIVERSE、LOCOBENCH 等 8 个企业级智能体评测，并通过单一命令行界面提供两种运行时预算执行模式。
arXiv cs.AIAI 评分4040 ReuF2F：在形式化本科生科研问题上评测代码智能体
研究人员推出基于 Lean 4 的基准评测 ReuF2F，包含来自本科生科研项目（REU）的 244 个形式化开放数学问题。评测采用标准代码智能体环境，将每个问题及其逻辑否定置于 Docker 容器内的 Lean 项目中，并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。
arXiv cs.AIAI 评分3838 MAMath-Bench：多模态多智能体数学推理的过程感知与鲁棒性评测基准
研究者推出多模态多智能体数学推理评测基准 MAMath-Bench，包含涵盖 11 个数学类别以及文本、图像、音频等模态的 1,003 道题目。该基准通过细粒度里程碑标注，从解题正确性、推理过程可靠性及对抗扰动鲁棒性三个维度展开评估。评测发现多智能体协作相比强单模型并未持续提高最终答案准确率，且当前系统面对对抗性推理错误仍较脆弱；数据集已开放获取。
OpenAI NewsAI 评分3939 OpenAI 提升 ChatGPT 在低资源编程语言中的代码能力
OpenAI 正在提升 ChatGPT 在低资源编程语言上的代码能力。官方为此推出了针对软件工程、SQLite 以及 COBOL 迁移的全新评测。
arXiv cs.AIAI 评分4545 MS-Eval：面向 MCP 密集型工作场景的子 Agent 委派与编排评测基准
研究者提出 MS-Eval 评测套件，用于量化评估 MCP 密集型场景下的主 Agent 委派与子 Agent 执行（MAD-SAE）范式。对 4 种变体和 8 款前沿模型的评测表明，子 Agent 专业化是最佳实践，开源模型普遍具有竞争力。MAD-SAE 虽普遍增加成本，但能让多数开源模型在性能和效率上双重获益，而闭源模型则出现成本上升且性能下降的现象。
arXiv cs.AIAI 评分4343 GlobeBench：评估用于可扩展环境模拟的基于文本的世界模型能力
研究人员推出基准评测 GlobeBench，包含跨 5 个领域和 19 项模拟技能的 1,632 个任务，用于评估基于文本的世界模型预测环境状态转移的能力。在评测的 20 款通用 LLM 与专用模型中，GPT-6 Astra 以 49.57% 的任务成功率位居第一。当动作变更需传播到相关联对象时，所有模型平均成功率降至 5.1%，且有 631 个任务未被任何模型攻克。
arXiv cs.LGAI 评分3535 Heuresis 基准：评测并增强智能体因果发现能力
研究人员推出匿名模拟数据集基准 Heuresis，用于评测 LLM 智能体在因果发现中纠正算法错误并深入挖掘数据的能力。在测试中，GPT-6.1 Sol 在全部六个数据集族上均超越了最佳可选算法，在难度最高的数据集上邻接 F1 分数提升 14%，Claude Opus 5.5 提升 7.4%。相关代码和数据将公开发布。
arXiv cs.AIAI 评分3636 医疗 LLM 智能体上报可靠性审计：工作流状态失败的扰动控制评测基准
研究人员构建了包含 400 个医疗工作流情境的基准测试，用于评估医疗 LLM 智能体在证据缺失或冲突时的上报可靠性。评测显示 5 种 1.7B 至 9.7B 开源权重配置在常规准确率达 0.97 的情况下，会遗漏 32% 至 97% 的必要上报。工作流感知控制器能将遗漏上报率降至 0.12 至 0.24，但在词汇压力测试中泛化能力仍受限。
arXiv cs.AIAI 评分4848 Kolab：长流程工作中人机协作评测基准
研究人员推出人机协作评测数据集 Kolab，包含来自 40 个职业的 50 位专业人士在长流程任务中与 AI 智能体协作的 115+ 小时屏幕录像及质量评估。该基准用于评测智能体预测专家对其产出的采纳情况，以及评估协作满意度和产出质量的能力。测试发现，前沿模型普遍高估协作效果且难以区分协作质量高低，更长的工作流上下文也未能稳定改善预测。
arXiv cs.AIAI 评分5050 Sci$\Pi$vot：评测科学自动研究 AI 智能体关键时刻的 PI 级判断力
研究人员构建了评测科学判断力的基准 Sci$\Pi$vot，包含基于资深研究员在 6 个月内跨 6 个科学领域、26 个项目中干预纠偏所记录的 248 个案例。
arXiv cs.AIAI 评分4040 OmicsBench：面向研究级生物信息学的长流程多轮 AI 智能体评测基准
研究人员推出面向 AI 智能体的长流程多轮生物信息学评测基准 OmicsBench，包含 97 个任务、共 662 个基于有向无环图关联的子任务。在 3 个测试框架下对 12 个模型的评估显示，无上下文反馈时平均得分仅 0.43 至 0.57，最慢的智能体单任务平均耗时达 3.6 小时。配套的无监督失败模式发现流程还揭示了智能体自作主张应用统计过滤或凭记忆作答等缺陷。
arXiv cs.AIAI 评分5050 自我改进 AI 智能体的技能与策略协同进化陷阱研究
针对自我改进 AI 智能体在部署后技能库发生漂移导致性能脆弱的问题，研究团队提出了面向部署的评测协议 CODA。该协议通过模拟技能漂移，引入了语义保留编辑下的一致性率以及对受损技能的抵抗率等新指标。在 4 种协同进化方法和 5 个基准测试中，最差情况下的成功率比峰值低 5-13 个百分点，抹去了技能库相较无技能基线 52-93% 的性能增益。
arXiv cs.LGAI 评分3434 INCONVENIENT：用于评估 LLM 在便利样本下泛化能力的基准
研究人员提出了评测基准 INCONVENIENT，用于评估大语言模型等机器学习模型在便利样本偏差下的鲁棒性与泛化能力。该基准直接扰动训练分布中的特征与目标关系，同时保留原始总体分布作为部署环境，能明确控制关系偏移的方向与严重程度。该基准包含涵盖多个应用领域的 200 个表格分类与回归数据集，共生成约 15,500 个导致下游性能大幅下降的偏移训练分布。
arXiv cs.AIAI 评分3535 CESNET-TimeSeries26：面向年度周期性、概念漂移与长期异常检测的多年度网络流量时间序列数据集
研究人员推出多年度网络流量时间序列数据集 CESNET-TimeSeries26，包含来自 CESNET3 网络的 995 天连续流量时间序列，以及约 4.5 年的单一子网数据。该数据集覆盖 278,466 个 IP 地址、285 家机构与 566 个机构子网，提供 3 种聚合粒度。实验表明年度季节性是主要周期成分，且预测模型只有在训练窗口至少覆盖一个完整年度周期时才能有效利用该特征。
arXiv cs.AIAI 评分3939 如何构建真正衡量审美品味的评测基准 TasteBench
研究团队提出 TasteBench 基准与控制协议，在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露（得分 0.912）及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差，并发布了参考评测套件与随机化工具。
arXiv cs.AIAI 评分4242 DSABench：多数据库 AI 智能体数据源发现、协同与执行评测基准
研究人员推出评测基准 DSABench，联合评估多数据库 AI 智能体在数据源发现、跨源协同和工作流执行上的能力。基准包含 815 个经人工审核的任务，其中 618 个需要多个数据库协同，并在 RouteEnv 环境下进行无特权测试。
arXiv cs.AIAI 评分4545 FDE-Bench：评测未明确真实业务需求端到端交付的全新基准
研究人员推出 FDE-Bench，这是首个基于真实客户项目构建的基准，用于评估 AI 智能体在需要交互式需求澄清与迭代优化下的端到端交付能力。该基准包含涵盖组合优化与机器学习的 49 个案例，由智能体向模拟客户澄清需求并交由特定评估器验收。在 18 种智能体配置测试中，最高平均交付得分仅为 0.5510（FDE 参考值为 1.0），最高交付成功率仅有 6.12%。
arXiv cs.AIAI 评分3939 ACED-Bench：评估 LLM 智能体如何获取与应用因果证据
研究者推出神经符号基准 ACED-Bench，用于评估 LLM 智能体主动获取因果证据并做出决策的能力。其核心榜单 ACED-Core 包含 180 项因果推断与决策任务，辅以含 150 题的资格检查 ACED-Qual，评测了 7 款当代与 2 款早期 LLM。结果显示，智能体常出现测试错误干预、遗失相关证据以及在证据充足后仍无法及时停止等失败问题。
arXiv cs.AIAI 评分3333 VETNET：构建驱动兽医 AI 创新的基准数据集
研究人员推出了 VETNET，这是一个由实时基准数据集和评估框架组成的生态系统，旨在通过标准化、高质量的数据集推动动物科学与兽医学领域的 AI 创新。该框架通过学术界与非学术界的多机构协作构建，旨在弥合人类医学 AI 进展与兽医 AI 碎片化发展现状之间的差距。
arXiv cs.AIAI 评分4444 Long-Horizon-Terminal-Bench 2.0：自动化多样化任务构建与衡量 AI 智能体持续进展
研究人员推出 LHTB 2.0 基准，包含涵盖 13 个领域和 8 种任务类型的 77 个任务，并将评测时长从 90 分钟延长至 3 小时，每 30 分钟记录一次检查点以衡量智能体的持续进展。
arXiv cs.AIAI 评分4848 人工智能的首场大考：基于 LLM 引用的超智能 C-test 评测
研究人员提出了首个基于 Levin's Kt 并以大语言模型作为表征机器的测试方法，用于评估可能超越人类与现有 AI 的超智能系统。该方法利用归纳推理反向问题生成高难度测试项，难度采用以比特为单位的比例尺度估算，并构建了轻量化生成与认证流程。团队制作了首套认证测试项并对 12 个大语言模型展开评测，成功验证了覆盖超智能区间的测试能力。
Apple ML Research精选AI 评分7373 Mac Studio 结合 MLX 与 RDMA 实现大语言模型本地及分布式推理评测
Apple ML 团队展示了利用 MLX 框架结合 Thunderbolt RDMA 低延迟驱动，在 Mac Studio 上实现超大语言模型本地与跨节点分布式推理的方案。
推荐理由：文章展示了利用雷电 RDMA 在多台 Mac Studio 上组网运行超大模型的方法与实测数据，为端侧分布式推理部署提供了具体参考。
arXiv cs.LGAI 评分3535 FinGREAT：评估大语言模型在金融图引导检索与类型标注上的表现
研究人员提出 FinGREAT，用于评估大语言模型根据复式簿记关系从非结构化财报文本中提取和分类证据的能力。基于包含 11 个节点和 11 条边的金融会计图，研究团队跨 26 年的 1,300 份 SEC 10-K 文件评估了 5 个开源模型家族与 3 个闭源模型，发现模型间抽取量和一致性差异显著。
arXiv cs.LGAI 评分4747 MA-Bench：评测语言模型在军事作战规划任务中的表现
研究者推出评测基准 MA-Bench，旨在评估语言模型在无唯一标准答案下将大量、不完整且存在矛盾的文档转化为行动方案的规划能力。该基准包含 10 个专家构建的场景与 1,257 条通过/未通过要求，评测 20 款前沿及开源权重模型显示最佳模型仅答对 62% 的评分项。模型在文档陈述的事实上表现最好（58%），在推断判断上最弱（33%），且十分之六的失败源于遗漏而非错误。
arXiv cs.LGAI 评分3535 PMO-Dock：分子优化中的对接、特异性与泛化能力基准评测
研究人员提出了基于对接的分子优化基准与协议 PMO-Dock，包含覆盖苗头化合物生成、先导化合物优化及特异性任务的 25 个任务，并在严格的 oracle 预算下将验证任务调参与未见测试任务最终评估分离。研究评测了 Saturn、GenMol、Genetic-guided GFlowNet 和 ChemLlama 四种方法，结果显示没有一种方法在所有任务上普遍最优，且超参数跨任务迁移效果有限。
arXiv cs.AIAI 评分3636 EmbodiedCLBench：评估自进化具身智能体持续学习能力的新基准
研究人员推出具身模拟评测基准 EmbodiedCLBench，旨在以组合泛化为核心原则，评估自进化具身智能体通过积累并重组基础任务技能来解决复杂未见任务的持续学习能力。实验显示，基础任务经验能持续提升高级任务表现且在复杂度增加时保持稳定，但该提升无法随学习样本数量扩展，现有智能体尚无法从额外经验中提取有效信息。相关代码与数据集已开源。
arXiv cs.AIAI 评分3535 SmartSalesBench：用于评估大语言模型销售智能体的抗拒型多轮对话基准
研究人员推出多轮对话基准 SmartSalesBench，用于评估大语言模型销售智能体应对具备抗拒心理买家画像的表现。该基准涵盖 5 种智能体档案、12 种买家画像及跨 6 个价格档位的 15 款智能手机，支持长达 20 轮对话，并基于 RAG 完成了总计 13,680 场测试会话。评测体系包含 3 层共 9 项指标，结合了 LLM-as-judge 与人工评估。
arXiv cs.AIAI 评分3434 MathVis：AI 能通过绘图进行推理吗？数学图表生成评测基准
研究人员推出 MathVis 评测基准，包含 512 个任务，用于评估大语言模型可视化前沿数学问题及图表辅助推理的能力。在严格评测中，GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 分数分别为 31.25%、26.56% 和 22.85%。
arXiv cs.AIAI 评分4040 GeoSpatialBench：地理空间推理与受限空间编辑评测基准
研究团队推出基准 GeoSpatialBench，基于 6 座真实城市数据评估 MLLM 在 28 种空间关系下的空间推理与受限编辑能力。评测显示前沿模型处理结构化 GeoJSON 的表现持续优于地图图像，且定性关系表现优于定量度量关系。在受限空间编辑任务中模型表现显著下滑，多数失败编辑均违反了指定的空间几何约束。
arXiv cs.AIAI 评分3434 TypedBench：System One 决策模型校准度、措辞敏感度与成本评测基准
研究团队推出决策模型评测基准 TypedBench，包含 7 个策略标签生成器与 9 个评测套件，专门评估非生成式模型的校准度、措辞敏感度与决策成本。测试覆盖托管模型、开源编码器及 0.8B-9B 参数的开源解码器系列。结果显示托管模型遵循策略但措辞敏感且置信度偏低，解码器在策略问题上准确率最低且随选项增加而性能下降。
arXiv cs.AIAI 评分4343 Mine Odyssey：真实环境空间智能体能力评测基准
Mine Odyssey 是一个利用 Minecraft 重建真实场景的空间智能体评测基准，包含 30 个地点的 180 项导航任务。在 8 款受测模型中，GPT-6 Astra 取得最高的 85.6% 成功率，Claude Opus 5.5 达 73.9%，最强开源模型 DeepSeek-V4.1-Flash 为 23.9%，表明当前模型在空间智能体能力上仍有很大提升空间。
arXiv cs.AIAI 评分3333 GameCommBench：AI 游戏解说的统一评测基准与类型感知评估框架
研究者提出了 GameCommBench 评测基准与 TACE 评估框架，旨在统一棋盘游戏、体育和电竞等多模态场景下的 AI 游戏解说评估。TACE 通过类型感知结构化评测不同解说功能，并已通过人类一致性验证。评测代表性 AI 解说员的结果显示其能力分布不均，其中现场实时观察与策略分析是当前的核心瓶颈。
arXiv cs.AIAI 评分4545 OpenProblemBench：评估 AI 解决基础理论科学开放问题的评测基准
研究团队推出包含 82 个数学与理论物理未解决问题的评测基准 OpenProblemBench，由 4 个评估器模型在无参考解情况下独立评估 AI 的求解能力。在 7 种评测配置中，GPT-6-Astra 取得了最高的 14.0% 平均解决率，被评测的全尺寸开源模型为 5.5-6.7%，Flash 模型则为 2.4-3.7%。
arXiv cs.AIAI 评分4949 AgentHorizon：评估长流程计算机使用任务中的智能体裁判
研究团队推出 AgentHorizon 基准，用于评估智能体裁判在长流程计算机使用任务中的判断能力。该基准涵盖跨 3 个操作系统的 166 小时真人轨迹与 1,373 个任务，轨迹最多含 300 张截图与动作。评测显示表现最优的智能体裁判 GPT-5.5 在 AH 子集取得 80.9% 平衡准确率，而工具使用反而降低了开源模型的表现。
arXiv cs.LGAI 评分3939 RH-Detect：奖励作弊检测统一基准
研究人员推出奖励作弊检测统一基准 RH-Detect，整合 11 个公开数据集共 92,761 行数据与 6 种行为类别，涵盖多轮工具调用轨迹等 5,021 个评估单元。评测显示现成大语言模型最高取得 0.962 的汇总 AUROC 与超 93% 的准确率，但在 MALT 和 TRACE 两个多轮工具使用场景下准确率下降 10.7-15.9 个百分点。
arXiv quant-phAI 评分2727 参数化量子电路模块化优化策略基准测试
研究者提出一种参数化量子电路的模块化基准测试框架，将量子搜索方向估计与经典参数更新规则解耦。评测涵盖梯度、随机及无导数优化器，在 QAOA、QCNN 图像分类及氢分子 VQE 任务中结合有限采样模拟与 156-qubit 处理器进行测试。结果对比了终态目标与分类精度，但硬件运行未确立明确的优化器排名。