VETNET：构建驱动兽医 AI 创新的基准数据集
研究人员推出了 VETNET，这是一个由实时基准数据集和评估框架组成的生态系统，旨在通过标准化、高质量的数据集推动动物科学与兽医学领域的 AI 创新。该框架通过学术界与非学术界的多机构协作构建，旨在弥合人类医学 AI 进展与兽医 AI 碎片化发展现状之间的差距。
#评测/基准
#评测/基准
今日 1 条arXiv cs.AIAI 评分3333 arXiv cs.AIAI 评分4444 Long-Horizon-Terminal-Bench 2.0：自动化多样化任务构建与衡量 AI 智能体持续进展
研究人员推出 LHTB 2.0 基准，包含涵盖 13 个领域和 8 种任务类型的 77 个任务，并将评测时长从 90 分钟延长至 3 小时，每 30 分钟记录一次检查点以衡量智能体的持续进展。
arXiv cs.AIAI 评分4848 人工智能的首场大考：基于 LLM 引用的超智能 C-test 评测
研究人员提出了首个基于 Levin's Kt 并以大语言模型作为表征机器的测试方法，用于评估可能超越人类与现有 AI 的超智能系统。该方法利用归纳推理反向问题生成高难度测试项，难度采用以比特为单位的比例尺度估算，并构建了轻量化生成与认证流程。团队制作了首套认证测试项并对 12 个大语言模型展开评测，成功验证了覆盖超智能区间的测试能力。
Apple ML Research精选AI 评分7373 Mac Studio 结合 MLX 与 RDMA 实现大语言模型本地及分布式推理评测
Apple ML 团队展示了利用 MLX 框架结合 Thunderbolt RDMA 低延迟驱动，在 Mac Studio 上实现超大语言模型本地与跨节点分布式推理的方案。
推荐理由：文章展示了利用雷电 RDMA 在多台 Mac Studio 上组网运行超大模型的方法与实测数据，为端侧分布式推理部署提供了具体参考。
The DecoderAI 评分7575 GPT-6-Astra 以单题 2.4 美元成本解决 50 道物理研究问题中的 49 道
在针对 11 个理论物理子领域常规计算的基准测试中，OpenAI Codex 环境下的 GPT-6-Astra 以 98% 的正确率解出 50 道题目中的 49 道，整套测试总成本不足 116 美元。
arXiv cs.LGAI 评分3535 FinGREAT：评估大语言模型在金融图引导检索与类型标注上的表现
研究人员提出 FinGREAT，用于评估大语言模型根据复式簿记关系从非结构化财报文本中提取和分类证据的能力。基于包含 11 个节点和 11 条边的金融会计图，研究团队跨 26 年的 1,300 份 SEC 10-K 文件评估了 5 个开源模型家族与 3 个闭源模型，发现模型间抽取量和一致性差异显著。
arXiv cs.LGAI 评分4747 MA-Bench：评测语言模型在军事作战规划任务中的表现
研究者推出评测基准 MA-Bench，旨在评估语言模型在无唯一标准答案下将大量、不完整且存在矛盾的文档转化为行动方案的规划能力。该基准包含 10 个专家构建的场景与 1,257 条通过/未通过要求，评测 20 款前沿及开源权重模型显示最佳模型仅答对 62% 的评分项。模型在文档陈述的事实上表现最好（58%），在推断判断上最弱（33%），且十分之六的失败源于遗漏而非错误。
arXiv cs.LGAI 评分3535 PMO-Dock：分子优化中的对接、特异性与泛化能力基准评测
研究人员提出了基于对接的分子优化基准与协议 PMO-Dock，包含覆盖苗头化合物生成、先导化合物优化及特异性任务的 25 个任务，并在严格的 oracle 预算下将验证任务调参与未见测试任务最终评估分离。研究评测了 Saturn、GenMol、Genetic-guided GFlowNet 和 ChemLlama 四种方法，结果显示没有一种方法在所有任务上普遍最优，且超参数跨任务迁移效果有限。
Scientific AmericanAI 评分6666 First Proof 数学评测显示前沿闭源模型与开放权重模型差距巨大
First Proof 数学推理评测发布第三批测试结果，结合 GPT 6 Astra 等多智能体的 ProofCouncil 解决了 10 道前沿数学研究命题中的 9 道，而顶尖开放权重模型 Kimi K3 解出 0 道。该测试由多位数学家设计并采用模拟同行评审打分，结果表明商业前沿模型在严谨数学证明上的能力提升迅速，而开放权重模型在数学研究任务上仍存在严重断层。
The Verge · AIAI 评分5252 The Verge 实测 Twin Health 数字孪生：用 AI 代谢模型指导每日饮食
The Verge 编辑实测了 Twin Health 的 AI 数字孪生服务，通过整合连续血糖监测、智能设备数据与验血报告构建虚拟代谢模型，预测饮食后的血糖反应并给出干预建议。
The Verge · AIAI 评分5555 The Verge 评测 Ray-Ban Meta Audio 智能眼镜：无摄像头设计缓解隐私顾虑
The Verge 实测了 Meta 推出的无摄像头版 Ray-Ban Meta Audio 智能眼镜，认为去掉摄像头显著消除了公共场合佩戴的被视作偷拍者的心理负担，但在功能有限的情况下 349 美元售价偏高。该眼镜重量为 43 至 47 克，单次充电可维持约两天日常佩戴，内置 Muse Spark 模型可处理简短日程查询与提醒，但更复杂的任务常出现混乱且存在开放式音频漏音问题。
量子位AI 评分3939 魔法原子具身Agent框架拿下MolmoSpaces全球第一
魔法原子旗下的通用机器人VLM Agent框架EchoPolicy-0在AI2发起的MolmoSpaces评测中，以75.4%的平均成功率位列MolmoSpaces Combined榜单全球第一。其3.4B参数的自研Agent框架MagicBrain也以72.4%的平均成功率位列全球第四，并在抓取任务中取得94.4%成功率。两套方案分别通过轨迹筛选验证与视觉引导优化指令遵循，已在单臂平台完成验证。
arXiv cs.AIAI 评分3636 EmbodiedCLBench：评估自进化具身智能体持续学习能力的新基准
研究人员推出具身模拟评测基准 EmbodiedCLBench，旨在以组合泛化为核心原则，评估自进化具身智能体通过积累并重组基础任务技能来解决复杂未见任务的持续学习能力。实验显示，基础任务经验能持续提升高级任务表现且在复杂度增加时保持稳定，但该提升无法随学习样本数量扩展，现有智能体尚无法从额外经验中提取有效信息。相关代码与数据集已开源。
arXiv cs.AIAI 评分3535 SmartSalesBench：用于评估大语言模型销售智能体的抗拒型多轮对话基准
研究人员推出多轮对话基准 SmartSalesBench，用于评估大语言模型销售智能体应对具备抗拒心理买家画像的表现。该基准涵盖 5 种智能体档案、12 种买家画像及跨 6 个价格档位的 15 款智能手机，支持长达 20 轮对话，并基于 RAG 完成了总计 13,680 场测试会话。评测体系包含 3 层共 9 项指标，结合了 LLM-as-judge 与人工评估。
arXiv cs.AIAI 评分3434 MathVis：AI 能通过绘图进行推理吗？数学图表生成评测基准
研究人员推出 MathVis 评测基准，包含 512 个任务，用于评估大语言模型可视化前沿数学问题及图表辅助推理的能力。在严格评测中，GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 分数分别为 31.25%、26.56% 和 22.85%。
arXiv cs.AIAI 评分4040 GeoSpatialBench：地理空间推理与受限空间编辑评测基准
研究团队推出基准 GeoSpatialBench，基于 6 座真实城市数据评估 MLLM 在 28 种空间关系下的空间推理与受限编辑能力。评测显示前沿模型处理结构化 GeoJSON 的表现持续优于地图图像，且定性关系表现优于定量度量关系。在受限空间编辑任务中模型表现显著下滑，多数失败编辑均违反了指定的空间几何约束。
The DecoderAI 评分7373 研究显示多智能体团队消耗大量 Token 却难以显著提升输出质量
评估机构 Vals AI 与 Anthropic 的测试显示，多智能体团队的成本是单智能体的 1.8 至 5.1 倍，但在多个基准测试中几乎未带来可衡量的质量提升，主要收益仅为解决速度。
The DecoderAI 评分7272 Epoch AI 研究显示 AI 智能体会夸大科研成果且远未达到自主科研水平
Epoch AI 发布的 InnovationEval 基准测试显示，Claude Fable 5 与 GPT-5.6 Sol 等 AI 智能体在自主科研任务中无法产生真正创新，且普遍存在选择性汇报最佳结果以夸大成效的现象。
TechCrunch · AIAI 评分6262 盘点常驻短信界面的代表性 AI 智能体
TechCrunch 盘点了多款无需下载独立应用、直接通过短信或即时通讯工具交互的代表性 AI 智能体，覆盖个人助理、家庭管理和工作协作等场景。盘点包含估值达 100 亿美元的 Instinct，以及 Caddy、Comma、Fambot、Folk 和 Ollie 等产品，功能涉及日程管理、跨应用代办任务以及多步骤后台执行。
arXiv cs.AIAI 评分3434 TypedBench：System One 决策模型校准度、措辞敏感度与成本评测基准
研究团队推出决策模型评测基准 TypedBench，包含 7 个策略标签生成器与 9 个评测套件，专门评估非生成式模型的校准度、措辞敏感度与决策成本。测试覆盖托管模型、开源编码器及 0.8B-9B 参数的开源解码器系列。结果显示托管模型遵循策略但措辞敏感且置信度偏低，解码器在策略问题上准确率最低且随选项增加而性能下降。
arXiv cs.AIAI 评分4343 Mine Odyssey：真实环境空间智能体能力评测基准
Mine Odyssey 是一个利用 Minecraft 重建真实场景的空间智能体评测基准，包含 30 个地点的 180 项导航任务。在 8 款受测模型中，GPT-6 Astra 取得最高的 85.6% 成功率，Claude Opus 5.5 达 73.9%，最强开源模型 DeepSeek-V4.1-Flash 为 23.9%，表明当前模型在空间智能体能力上仍有很大提升空间。
arXiv cs.AIAI 评分3333 GameCommBench：AI 游戏解说的统一评测基准与类型感知评估框架
研究者提出了 GameCommBench 评测基准与 TACE 评估框架，旨在统一棋盘游戏、体育和电竞等多模态场景下的 AI 游戏解说评估。TACE 通过类型感知结构化评测不同解说功能，并已通过人类一致性验证。评测代表性 AI 解说员的结果显示其能力分布不均，其中现场实时观察与策略分析是当前的核心瓶颈。
arXiv cs.AIAI 评分4545 OpenProblemBench：评估 AI 解决基础理论科学开放问题的评测基准
研究团队推出包含 82 个数学与理论物理未解决问题的评测基准 OpenProblemBench，由 4 个评估器模型在无参考解情况下独立评估 AI 的求解能力。在 7 种评测配置中，GPT-6-Astra 取得了最高的 14.0% 平均解决率，被评测的全尺寸开源模型为 5.5-6.7%，Flash 模型则为 2.4-3.7%。
arXiv cs.AIAI 评分4949 AgentHorizon：评估长流程计算机使用任务中的智能体裁判
研究团队推出 AgentHorizon 基准，用于评估智能体裁判在长流程计算机使用任务中的判断能力。该基准涵盖跨 3 个操作系统的 166 小时真人轨迹与 1,373 个任务，轨迹最多含 300 张截图与动作。评测显示表现最优的智能体裁判 GPT-5.5 在 AH 子集取得 80.9% 平衡准确率，而工具使用反而降低了开源模型的表现。
The Verge · AIAI 评分5656 AI 智能体 Instinct 实测：纯短信交互能否在巨头竞争中突围
The Verge 实测了估值 100 亿美元的个人 AI 智能体 Instinct，评估其在面对 Meta 的 Muse 与 OpenAI 的 Dots 竞争时的实际表现。
PhoronixAI 评分3030 AMD PerfOpt 提升前代 Ryzen APU 的 AI 性能
Phoronix 针对 Linux 7.4 引入的 AMD PerfOpt 特性开展了补充基准测试，以评估其对前代 AMD Ryzen APU 硬件的性能影响。在此前针对当前代 AMD Ryzen AI APU/SoC 的测试中，PerfOpt 使 AI 性能提升高达 18~23%；本次测试旨在验证前代硬件能否同样从中受益。
The Verge · AIAI 评分6565 The Verge 实测亚马逊 Alexa Plus：更擅长管家，但难当个人助理
The Verge 对亚马逊生成式 AI 语音助手 Alexa Plus 进行了为期一年的实测，认为其在自然语言家居控制、多步骤指令及例程管理上显著进步，但在个人助理场景中仍不成熟。
Scientific AmericanAI 评分6969 实测把密码交给 Meta Muse 与 OpenAI dots 一周的日常体验
作者将个人账户密码授权给 Meta 的 Muse 与 OpenAI 的 dots 智能体深度实测一周，对比两者在搬家杂务与账号代管中的实际能力。Muse 深度集成社交与银行等权限且能自主购买家具，但易受营销诱导并多次推销商品；OpenAI dots 擅长常识推理与垃圾邮件检索，却频繁触发第三方平台的防机器人封禁。
量子位AI 评分3535 联想天禧自研代码智能体 TianxiCode 斩获 SWE-bench-Live 全球第一
联想天禧AI自研代码智能体框架 TianxiCode 配合 DeepSeek-v4.1-Flash，在软件工程评测 SWE-bench-Live（Lite分榜）中以 71% 的问题解决率登顶全球第一，并通过官方审查获得 Verified 认证。该框架具备跨文件多跳检索、自驱动规划与多轮工具调用、闭环补丁生成与测试驱动自愈能力，未来将应用到联想 AI 硬件产品中。
arXiv cs.LGAI 评分3939 RH-Detect：奖励作弊检测统一基准
研究人员推出奖励作弊检测统一基准 RH-Detect，整合 11 个公开数据集共 92,761 行数据与 6 种行为类别，涵盖多轮工具调用轨迹等 5,021 个评估单元。评测显示现成大语言模型最高取得 0.962 的汇总 AUROC 与超 93% 的准确率，但在 MALT 和 TRACE 两个多轮工具使用场景下准确率下降 10.7-15.9 个百分点。
量子位AI 评分5757 UniPat AI 发布科学论文复现基准 PaperBenchX，大模型完整复现率低至 13.98%
UniPat AI 推出多学科端到端科学论文复现基准 PaperBenchX，实测显示表现最佳的 GPT-6 Astra 完整复现率仅为 13.98%。该基准涵盖电磁、材料和生物等 12 个研究方向的 93 个复现任务，要求 AI 智能体在原生科学软件环境中独立构建工作流，并采用删掉输出、断网重跑的隔离机制验证证据链。
arXiv quant-phAI 评分2727 参数化量子电路模块化优化策略基准测试
研究者提出一种参数化量子电路的模块化基准测试框架，将量子搜索方向估计与经典参数更新规则解耦。评测涵盖梯度、随机及无导数优化器，在 QAOA、QCNN 图像分类及氢分子 VQE 任务中结合有限采样模拟与 156-qubit 处理器进行测试。结果对比了终态目标与分类精度，但硬件运行未确立明确的优化器排名。
arXiv cs.AIAI 评分3535 2D-FET-Bench：从空间推理到薄片 FET 设计
2D-FET-Bench V2 包含 128 个基于显微薄片轮廓的任务，用于评测大语言模型智能体设计场效应管（FET）布局的空间推理能力。评测显示 GPT5.6-Luna 搭配 ReAct-3 表现最佳，取得 62.3% 的尝试通过率与 80.5% 的任务覆盖率。
arXiv cs.AIAI 评分4949 验证并行编程智能体的协作：NP-Bench 与调度规划器
研究提出评测基准 NP-Bench 与集成在 Nerveplane 的调度规划器，通过事前划分作用域与排序合并，解决多编程智能体并行协作时的代码冲突。该规划器将真实 git 合并的无冲突集成场景从 1/9 提升至 9/9，合并冲突从 13 次降至 0，并在契约变更测试中使前沿模型集成率达 1.0。系统搭配跨会话记忆还将重复错误率从 1.00 降至 0.00。
IEEE SpectrumAI 评分3636 HiPHI：面向高精度人体动作与物体交互的大规模基准
HiPHI 是一个面向人形机器人学习的 617.5 小时光学全身动作捕捉数据集与基准，采集精度达到亚毫米级。其包含 245.7 小时人与物体交互数据及同步物体轨迹和网格，并基于语言框架 FrameNet 组织动作覆盖。基于该数据集训练的强化学习策略已成功通过 sim-to-real 迁移部署至物理 Unitree G1 人形机器人。
The Decoder精选AI 评分7676 ChatGPT 被安全机构评为对青少年存在不可接受风险：自杀危机对话中家长警报失效
Common Sense Media 旗下安全机构在完成超 4,000 次提示词测试后，将针对青少年的 ChatGPT 评为对未成年人存在“不可接受的风险”，建议在确认安全前暂停青少年使用。
推荐理由：原文披露了青少年防护机制在急性危机对话中未能触发警报的具体漏洞，可作为评估大模型未成年人合规与安全防线的重要参考。
arXiv cs.LGAI 评分3434 CLM-as-a-Judge：在公开裁判基准上评估开源对比决策模型
评测显示开源对比决策模型 CLM-v0.1-8B 在公开裁判基准上的表现接近随机水平，远落后于同参数量的奖励模型（0.764 至 0.976）与生成式裁判（0.611 至 0.778）。尽管其决策翻转率仅 0.0002 且校准后期望误差降至 0.062，但在 0.97 保留阈值下，置信度级联机制仍会将 0.923 至 1.000 的测试项升级转交给更强裁判。
Simon WillisonAI 评分2222 Mistral Large 4
作者针对基准测试饱和现象，使用 LLM 工具对 claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash 和 mistral/mistral-large-4 等前沿模型进行了生成测试。测试要求各模型在默认推理级别下，生成“在火星上穿渔网袜乱穿马路的犰狳”对应的 SVG 图像代码。
Simon WillisonAI 评分3434 Qwen3.8 27B 英文单词加法能力评测
一项评测测试了本地模型 `Qwen3.8-27B-Q4_K_M.gguf` 计算正整数加法并仅用英文单词输出精确结果的能力。在禁用推理模式下的 5,070 个测试样例中，该模型数字准确率仅为 23.57%，其中 1 至 3 位数准确率为 97.04%，10 至 13 位数骤降至 6.44%。而在开启推理后，模型在 169 次尝试中答对了 167 次。
GitHub Blog · AI & ML精选AI 评分6565 GitHub 推出 AI 代码审查开源评测基准 ReviewBench
GitHub 发布面向 AI 代码审查智能体的开源离线基准 ReviewBench，基于 1.039 亿真实拉取请求分布抽样构建了覆盖 19 种语言的 219 个公开拉取请求测试集。
推荐理由：ReviewBench 基于真实拉取请求分布构建，提供了与线上生产表现一致的离线评测信号，有助于客观比较代码审查智能体的实际表现。