AgentHorizon:评估长流程计算机使用任务中的智能体裁判
研究团队推出 AgentHorizon 基准,用于评估智能体裁判在长流程计算机使用任务中的判断能力。该基准涵盖跨 3 个操作系统的 166 小时真人轨迹与 1,373 个任务,轨迹最多含 300 张截图与动作。评测显示表现最优的智能体裁判 GPT-5.5 在 AH 子集取得 80.9% 平衡准确率,而工具使用反而降低了开源模型的表现。
研究团队推出 AgentHorizon 基准,用于评估智能体裁判在长流程计算机使用任务中的判断能力。该基准涵盖跨 3 个操作系统的 166 小时真人轨迹与 1,373 个任务,轨迹最多含 300 张截图与动作。评测显示表现最优的智能体裁判 GPT-5.5 在 AH 子集取得 80.9% 平衡准确率,而工具使用反而降低了开源模型的表现。
研究人员提出通过模型蒸馏应对具备欺骗对齐倾向的高级模型,分别实现迫使模型暴露隐藏行为以及安全提取能力而不继承未对齐特性。DFI 方法将模型蒸馏至共享底盘的较弱检查点,使缺乏隐瞒能力的学生模型在受访时主动承认异常;DFC 方法则通过接种提示词与针对少量样本增加训练轮次,在保留能力提升的同时阻断未对齐偏好的传递。
研究将 LLM Agent 常驻上下文的筛选建模为容量限制选品问题,以解决盲目追加指令导致的 token 成本上升与性能退化。理论证明最优文件大小存在上限,单纯追加所有正收益指令在净价值上可能远劣于选取最优子集,且直接删除被智能体忽略的指令会误删有益规则。实验进一步证实,来自真实上下文文件的无关规则会降低大语言模型的依从性。
新研究发现叙事包装会大幅削弱大语言模型安全防御,Qwen3-1.7B 的攻击成功率在英文、现代中文及文言文中分别达 89.4%、93.0% 与 95.7%。团队为此构建了跨语言基准 GUISE,并提出结合偏好优化与表征对齐的防御方法 AXIS。实验表明,AXIS 在 Qwen3-1.7B、Qwen3-4B 和 GLM-4-9B 上均取得了最高的综合安全与可用性评分。
研究提出利用语言模型在反例引导循环中学习索引策略,实现仅需多项式空间且无需维护已访问状态列表的规划搜索。在 IPC 2023 Learning Track 与 Autoscale Agile 的 1,890 项测试任务中,该方法成功解决 1,709 项,求解量超过 LAMA、BFWS 与 Levitron,且多数任务在 1 秒及 100 MiB 内完成。
研究人员推出 StoreBench 动态电商模拟环境,用于评估和训练智能体在不确定性下的长程规划与经济决策能力。评测的 7 款前沿 LLM 中表现最好的 DeepSeek-V4-Pro 任务通过率仅为 49%,低于人类专家和启发式脚本基线的 97%。通过 GRPO 后训练微调后,Qwen3.5-27B 在测试任务上的平均综合得分从 0.136 提升至 0.373。
一项新研究首次形式化并评估了 LLM 仅通过交互识别社区规则的“规范能力”,发现基线 LLM 智能体无法学会这些规范。测试显示规范遵循对规范风格和模型高度敏感且缺乏泛化性;当无关特异行为与真实规范并存时,智能体会不加区分地照搬噪音,即便受罚也依然模仿。研究表明当前 AI 擅长行为模仿,但缺乏识别社会强制秩序的能力。
研究提出自监督方法 Keyframe Mnemonics,通过发现关键观测帧训练行为克隆(BC)策略,解决非马尔可夫长时程决策中的上下文保留问题。在合成记忆基准中,该策略达成 100% 成功率;在包含 23 项任务的机器人操作评测中,平均绝对成功率较最强基线提升 13.9%,并在真实机器人 20x 更长时程下保持 80% 成功率。
研究人员针对千问 Qwen3.6-27B 和 Qwen3-4B 在 MLE-Bench Lite 与 Zork I 基准上的测试表明,仅在提示词中指定时间预算时,小规模 LLM 智能体无法有效控制时间。
研究者在一篇被 NeurIPS 2026 Trustworthy AI for Good Workshop 接收的立场论文中呼吁,以人为中心的 AI 开发应转向对合理人类判断的“解释空间”进行建模。
研究提出 Plan-and-Patch 智能体规划框架,利用扩散语言模型并行生成结构化计划,并在固定前后步骤的前提下局部修复计划。在未经特定训练的 Natural Plan 上,扩散规划器 DreamReasoner-8B 的计划修复成功率达 53.7%,接近自回归模型 Qwen3-8B(27.0%)的两倍。
研究者提出了轨迹对齐指令翻译器 TGIT,在保持空中视觉语言导航智能体 OpenFly 冻结的前提下,将用户简短的意图型指令转化为可执行指令。TGIT 将弱指令输入的成功率提升至 37.93%,并零样本迁移至真实人类指令,将成功率从 11.33% 提升至 32.51%。
研究提出一种合规约束下的 LLM 智能体自我进化机制,在保持模型权重固定的前提下,仅允许修改指令、工具调用逻辑等运行时测试框架(harness),并通过准入门控在部署前记录哈希链日志。在模拟信贷流程实验中,该门控从 7,449 个候选变更中准入了 144 个,且均未在保留历史数据上恶化错误;而无边界检查则准入了 309 个有害变更。相关机制已被映射至欧盟 AI 法案的高风险信贷评分条款。
研究者提出了一个基于有界验证与隐蔽终端随机性的理论框架,用于形式化分析 Agentic AI 系统的验证能力与自我改进极限。研究证明,在统一完备解释器与固定验证协议下,一致有界的递归自我修改仍严格保留在同一验证复杂度类内。框架还将自我改进声明与正确性、容许证据及条件选择误差控制等要求直接绑定。
受控遗忘机制允许工具调用 AI 智能体将历史工具输出替换为简短注释并归档以供恢复,无需特定模型训练。在 OpenTelemetry 调试测试中,该方法使 prompt token 从 912,492 降至 231,951,累计输入 token 减少 50%,预估 API 成本从约 4.38 美元降至 1.28-1.44 美元,但耗时增加 17%。其资源节省表现高度依赖具体工作负载。
研究者提出名为 Synthesis Through Simulation(STS)的免 schema 数据合成范式,利用 LLM Agent 在模拟企业环境中调用策略 API 执行操作来生成连贯数据。
研究人员提出一种用于仅元数据列类型标注与数据质量评估的可解释表头中心框架。该框架利用精选词汇资源将表头映射至 39 种可解释的 FinalFormat 类型,并触发数据质量问题验证规则以生成无权重质量指标 HeadersIQ。框架在包含约 120,000 个表头列的 UCI、SOTAB 及 SemTab 2024 等异构基准上完成评测,并支持与 DBpedia 和 Schema.org 的对齐。
研究人员提出 Cova-PINN 框架,用于解决复杂几何结构中流固共轭传热的能量传递与出口温度误差问题。该框架在局部联合优化跨域复合控制体平衡,在全局尺度优化配对壁面闭合。在 4 种 TPMS 换热器测试中,其相比基线 MUSA-PINN-CHT 将平均出口温度误差降低 37.7%、设备级闭合误差降低 60.2%,并在 DualMS 设计上取得一致增益。
研究人员提出离线多任务强化学习框架 DaCe-DT,通过自适应提示词与轨迹修正解决异构任务中的数据瓶颈。该框架集成了长度门控提示词掩码(LGPM)、检索增强提示词构建(RAPC)与价值自适应回报校准(VARC)机制。在 Meta-World 实验中,DaCe-DT 较现有 SOTA 方法在最优和次优数据集上分别实现 11.73% 与 13.34% 的平均提升。
研究者提出大语言模型持续学习方法 SVC,将奇异向量通道作为平衡稳定性与可塑性的基本单元,以缓解领域自适应过程中的灾难性遗忘。微调前,SVC 分别评估各通道的适应收益与遗忘成本,并通过拐点筛选、Pareto 前沿过滤和 Otsu 阈值自适应选择可训练通道。在 4 个大语言模型家族和 8 个下游任务上的实验表明,SVC 相比现有 PEFT 基线能更好保留预训练能力并取得出色的下游表现。
针对对抗环境下的预算受限在线学习,该研究提出一种全信息算法,在任意 $F$ 个专家的设定下实现了 $O(D \sqrt{\log F}+ \sqrt{T\log F})$ 的近最优后悔界,匹配 Braverman 等人(2025)给出的理论下界。
研究人员推出评测基准 CityDeploy-Bench,在统一的光线追踪验证器下将多发射机无线网络部署重构为物理接地的空间集合规划问题。实验表明,随着物理耦合增强,部署质量高度依赖学习效用能否捕捉发射机间的集体相互作用,仅靠增强搜索无法弥补关系结构的缺失。团队已发布 CityDeploy-Data 数据集与基准测试框架。
研究指出 RLVR(可验证奖励强化学习)后训练会导致解题模式坍缩,使模型概率集中在少数正确解法上,并为此提出了评测基准 ModeBench 与方案 Re:Max。ModeBench 能同时检验输出正确性与解题模式,Re:Max 则在回放缓冲区中为每个发现的模式存储样本并进行均匀训练。在 3 种模型规模与 2 种 RL 目标下,该方法同时提升了策略成功率与解题多样性。
研究表明,大语言模型中的非线性注意力在所有测试的数据谱下,均会产生损失随模型深度倒数衰减的缩放规律。与受限于数据谱的线性注意力不同,非线性机制使注意力能选择性聚焦于相关 token,支持强弱谱方向并行学习。该机制结合中心极限定理效应将层级差异转化为持续收益,表明深度缩放现象可能直接源于注意力的非线性。
研究提出的张量融合框架 TMerge 利用低秩时空因子整合卫星降水与稀疏参考观测,有效校正 IMERG 数据。在 2019-2022 年美国本土测试中,TMerge 将相关系数从 0.53 提升至 0.85,均方根误差和平均绝对误差分别降低 48.2% 与 29.3%。该方法在各季节与区域均优于线性偏差校正、分位数映射及神经网络。
研究人员提出频域分解有限时间流映射神经算子 F$^3$NO,利用低频特征指导高频非线性精炼,解决 PDE 快速预测中的误差累积与细微结构解析难题。该模型能直接预测指定未来时刻状态,针对长轨迹结合了段内并行预测与段间递归传播。在 5 个 PDE 基准测试中,F$^3$NO 精度超越自回归与直接预测基线,且能以更少参数提升准确率。
研究人员提出不变测度推理器(ImR),通过引入不变测度作为稳定表示,解决隐式推理模型在不同循环深度下预测不稳定的问题。该框架描述潜状态在循环块更新下的长期分布,并根据预测头在该测度下的输出期望进行预测。在迷宫和数独任务中,无论是仅微调现有预测头还是从头训练,ImR 均有效降低了预测不稳定性并提高了准确率。
论文证明了训练单步漂移模型(Drifting Models)与常用的分布匹配蒸馏(DMD/DMD2)具有自然等价性。研究表明,将预训练扩散与流式生成模型(DFSGMs)的速度场或噪声场转换为引力场,并从生成分布中估计斥力场,即可将训练漂移模型与 DMD 精确对应。基于该等价视角,作者提出了一种改进方法多带宽分布匹配蒸馏(MBDMD)。
研究提出基于链式线性最小化预言机(chained LMOs)的新型优化器 TensorChain,通过跨层堆叠兼容权重矩阵并对 3D 张量各轴进行归一化。在千问(Qwen3)0.6B 与 1.7B 的预训练中,TensorChain 的平均 token 效率超越所有链式基线,在相同验证损失下相比 Muon 平均节省 9.6% 的 token。
针对上下文赌博机离线策略评估(OPE),该研究提出一种预算受限的多源反事实标注分配方法,用于协调专家及大语言模型(LLM)等标注源以最小化估计器方差。研究设计了结合动态规划子程序的优化最小化算法,实现目标函数的单调优化。在合成临床与 LLM 标注教育场景中,该方法相比无标注分别将均方误差(MSE)降低了 20.58% 和 10.77%。
一项新研究针对神经偏微分方程(PDE)求解器提出状态复用评估框架,通过配对状态比较与成本核算,解耦解精度、学习贡献与数值实用性。在涉及傅里叶神经算子与卷积网络的 240 条训练轨迹测试中,预测误差降低有时反而导致共轭梯度(CG)迭代增加,而基于工作量的选择策略在留出任务上可节省 2.50-3.33 次 CG 迭代。
研究人员提出 ASPIRE 框架,通过等变集合预测器 Ev-Quiformer 预测候选鞍点并结合 Dimer 搜索进行物理精修,用于加速原子热激活扩散与缺陷演化模拟。在基准测试中,ASPIRE 实现了 77.20% 的参考事件覆盖率(传统 Dimer 基准为 75.73%),同时将受力计算量减半,单构型耗时从 478.8 s 降至 176.3 s。
研究团队提出 Spectrally Targeted Muon 优化器,通过设定奇异值阈值 $\tau$ 选择性正交化,在归一化 SGD 与 Muon 之间插值。该方法利用移位 Gram 矩阵上的 Newton-Schulz 迭代投影且无需 SVD 计算。在 CIFAR-10 与 NanoGPT 上的测试表明,动量的小奇异值并非噪声,Muon 的优势正是放大了原本过小而无法有效训练的方向。
研究人员提出 AI 治理框架 TRACE,通过 EDS 和 DART 等 7 项工具度量与修复生产级 AI 系统的可解释性债务。在日处理 50,000 笔交易的欺诈检测系统 12 个月实测中,该框架提前 6 个月预测出 0.23 的 EDS,并揭示 78% 的债务集中在超 $10,000 的高风险交易。TRACE 为落实《欧盟人工智能法案》第 13 条提供了首个量化合规架构。
研究人员推出奖励作弊检测统一基准 RH-Detect,整合 11 个公开数据集共 92,761 行数据与 6 种行为类别,涵盖多轮工具调用轨迹等 5,021 个评估单元。评测显示现成大语言模型最高取得 0.962 的汇总 AUROC 与超 93% 的准确率,但在 MALT 和 TRACE 两个多轮工具使用场景下准确率下降 10.7-15.9 个百分点。
Spora 针对脉冲语言模型联合设计脉冲编码与注意力算子,利用二进制时间权重让 T 个脉冲可表示最高 T 位的组合容量。在 4 个时间步下,Spora 取得 76.6 的 GLUE 平均分与 44.1 的 CoLA MCC,分别比 SpikeLM 提高 1.2 和 6.2 分。将 BBS 扩展至 6 个时间步后,两项评分进一步提升至 78.2 与 47.4。
研究者提出面向目标条件强化学习的测试时框架 WMPA,通过在学习到的世界模型中推演展开多个冻结策略并以共享价值函数评估,动态仲裁并执行得分最高的策略。该方法无需策略重训练或任务特权知识。在 OGBench 的 18 个状态数据集评测中,WMPA 将宏平均成功率从最佳单策略的 44% 提升至 58%,并在 12 个数据集上取得显著提升。
研究提出用于模因符号回归的 DSCA 校准策略,通过将优化数据划分为不同协变量分布的等大小子集,并取独立校准参数的均值进行评估。在合成基准与 10 个真实世界数据集上,相比集中式 BFGS 和 Levenberg-Marquardt 校准,DSCA 在负对数似然及 AIC、BIC 准则下改善了函数恢复能力与精度-复杂度的权衡。
研究人员提出结合强化学习与博弈论的自适应多判别器 WGAN 框架,以解决车联网环境下的生成模型资源编排难题。框架通过路侧单元的 DQN 智能体协调车载节点分布式训练,动态平衡对抗质量、延迟与通信开销。在真实 NGSIM 轨迹数据评测中,其取得最低的 1.029 RMSE 与 0.894 MAE,平均 CPU 利用率降低约 28%,内存使用量减少约 6%。
研究人员探索利用大语言模型评估电商搜索页面插入推荐模块等布局决策,以替代高成本的线上 A/B 测试。通过对比直接 prompt 评估、prompt 衍生特征及基于表征(representation-based)的方法,实验表明基于表征的方法在预测用户参与度上持续优于直接 prompt 评估,为电商搜索离线布局评估提供了可靠基础。