Plan-and-Patch:面向智能体规划的扩散语言模型框架
研究提出 Plan-and-Patch 智能体规划框架,利用扩散语言模型并行生成结构化计划,并在固定前后步骤的前提下局部修复计划。在未经特定训练的 Natural Plan 上,扩散规划器 DreamReasoner-8B 的计划修复成功率达 53.7%,接近自回归模型 Qwen3-8B(27.0%)的两倍。
研究提出 Plan-and-Patch 智能体规划框架,利用扩散语言模型并行生成结构化计划,并在固定前后步骤的前提下局部修复计划。在未经特定训练的 Natural Plan 上,扩散规划器 DreamReasoner-8B 的计划修复成功率达 53.7%,接近自回归模型 Qwen3-8B(27.0%)的两倍。
研究者提出了轨迹对齐指令翻译器 TGIT,在保持空中视觉语言导航智能体 OpenFly 冻结的前提下,将用户简短的意图型指令转化为可执行指令。TGIT 将弱指令输入的成功率提升至 37.93%,并零样本迁移至真实人类指令,将成功率从 11.33% 提升至 32.51%。
研究提出一种合规约束下的 LLM 智能体自我进化机制,在保持模型权重固定的前提下,仅允许修改指令、工具调用逻辑等运行时测试框架(harness),并通过准入门控在部署前记录哈希链日志。在模拟信贷流程实验中,该门控从 7,449 个候选变更中准入了 144 个,且均未在保留历史数据上恶化错误;而无边界检查则准入了 309 个有害变更。相关机制已被映射至欧盟 AI 法案的高风险信贷评分条款。
研究者提出了一个基于有界验证与隐蔽终端随机性的理论框架,用于形式化分析 Agentic AI 系统的验证能力与自我改进极限。研究证明,在统一完备解释器与固定验证协议下,一致有界的递归自我修改仍严格保留在同一验证复杂度类内。框架还将自我改进声明与正确性、容许证据及条件选择误差控制等要求直接绑定。
受控遗忘机制允许工具调用 AI 智能体将历史工具输出替换为简短注释并归档以供恢复,无需特定模型训练。在 OpenTelemetry 调试测试中,该方法使 prompt token 从 912,492 降至 231,951,累计输入 token 减少 50%,预估 API 成本从约 4.38 美元降至 1.28-1.44 美元,但耗时增加 17%。其资源节省表现高度依赖具体工作负载。
研究者提出名为 Synthesis Through Simulation(STS)的免 schema 数据合成范式,利用 LLM Agent 在模拟企业环境中调用策略 API 执行操作来生成连贯数据。
研究人员提出一种用于仅元数据列类型标注与数据质量评估的可解释表头中心框架。该框架利用精选词汇资源将表头映射至 39 种可解释的 FinalFormat 类型,并触发数据质量问题验证规则以生成无权重质量指标 HeadersIQ。框架在包含约 120,000 个表头列的 UCI、SOTAB 及 SemTab 2024 等异构基准上完成评测,并支持与 DBpedia 和 Schema.org 的对齐。
研究人员提出 Cova-PINN 框架,用于解决复杂几何结构中流固共轭传热的能量传递与出口温度误差问题。该框架在局部联合优化跨域复合控制体平衡,在全局尺度优化配对壁面闭合。在 4 种 TPMS 换热器测试中,其相比基线 MUSA-PINN-CHT 将平均出口温度误差降低 37.7%、设备级闭合误差降低 60.2%,并在 DualMS 设计上取得一致增益。
研究人员提出离线多任务强化学习框架 DaCe-DT,通过自适应提示词与轨迹修正解决异构任务中的数据瓶颈。该框架集成了长度门控提示词掩码(LGPM)、检索增强提示词构建(RAPC)与价值自适应回报校准(VARC)机制。在 Meta-World 实验中,DaCe-DT 较现有 SOTA 方法在最优和次优数据集上分别实现 11.73% 与 13.34% 的平均提升。
研究者提出大语言模型持续学习方法 SVC,将奇异向量通道作为平衡稳定性与可塑性的基本单元,以缓解领域自适应过程中的灾难性遗忘。微调前,SVC 分别评估各通道的适应收益与遗忘成本,并通过拐点筛选、Pareto 前沿过滤和 Otsu 阈值自适应选择可训练通道。在 4 个大语言模型家族和 8 个下游任务上的实验表明,SVC 相比现有 PEFT 基线能更好保留预训练能力并取得出色的下游表现。
针对对抗环境下的预算受限在线学习,该研究提出一种全信息算法,在任意 $F$ 个专家的设定下实现了 $O(D \sqrt{\log F}+ \sqrt{T\log F})$ 的近最优后悔界,匹配 Braverman 等人(2025)给出的理论下界。
研究人员推出评测基准 CityDeploy-Bench,在统一的光线追踪验证器下将多发射机无线网络部署重构为物理接地的空间集合规划问题。实验表明,随着物理耦合增强,部署质量高度依赖学习效用能否捕捉发射机间的集体相互作用,仅靠增强搜索无法弥补关系结构的缺失。团队已发布 CityDeploy-Data 数据集与基准测试框架。
研究指出 RLVR(可验证奖励强化学习)后训练会导致解题模式坍缩,使模型概率集中在少数正确解法上,并为此提出了评测基准 ModeBench 与方案 Re:Max。ModeBench 能同时检验输出正确性与解题模式,Re:Max 则在回放缓冲区中为每个发现的模式存储样本并进行均匀训练。在 3 种模型规模与 2 种 RL 目标下,该方法同时提升了策略成功率与解题多样性。
研究表明,大语言模型中的非线性注意力在所有测试的数据谱下,均会产生损失随模型深度倒数衰减的缩放规律。与受限于数据谱的线性注意力不同,非线性机制使注意力能选择性聚焦于相关 token,支持强弱谱方向并行学习。该机制结合中心极限定理效应将层级差异转化为持续收益,表明深度缩放现象可能直接源于注意力的非线性。
研究提出的张量融合框架 TMerge 利用低秩时空因子整合卫星降水与稀疏参考观测,有效校正 IMERG 数据。在 2019-2022 年美国本土测试中,TMerge 将相关系数从 0.53 提升至 0.85,均方根误差和平均绝对误差分别降低 48.2% 与 29.3%。该方法在各季节与区域均优于线性偏差校正、分位数映射及神经网络。
研究人员提出频域分解有限时间流映射神经算子 F$^3$NO,利用低频特征指导高频非线性精炼,解决 PDE 快速预测中的误差累积与细微结构解析难题。该模型能直接预测指定未来时刻状态,针对长轨迹结合了段内并行预测与段间递归传播。在 5 个 PDE 基准测试中,F$^3$NO 精度超越自回归与直接预测基线,且能以更少参数提升准确率。
研究人员提出不变测度推理器(ImR),通过引入不变测度作为稳定表示,解决隐式推理模型在不同循环深度下预测不稳定的问题。该框架描述潜状态在循环块更新下的长期分布,并根据预测头在该测度下的输出期望进行预测。在迷宫和数独任务中,无论是仅微调现有预测头还是从头训练,ImR 均有效降低了预测不稳定性并提高了准确率。
论文证明了训练单步漂移模型(Drifting Models)与常用的分布匹配蒸馏(DMD/DMD2)具有自然等价性。研究表明,将预训练扩散与流式生成模型(DFSGMs)的速度场或噪声场转换为引力场,并从生成分布中估计斥力场,即可将训练漂移模型与 DMD 精确对应。基于该等价视角,作者提出了一种改进方法多带宽分布匹配蒸馏(MBDMD)。
研究提出基于链式线性最小化预言机(chained LMOs)的新型优化器 TensorChain,通过跨层堆叠兼容权重矩阵并对 3D 张量各轴进行归一化。在千问(Qwen3)0.6B 与 1.7B 的预训练中,TensorChain 的平均 token 效率超越所有链式基线,在相同验证损失下相比 Muon 平均节省 9.6% 的 token。
针对上下文赌博机离线策略评估(OPE),该研究提出一种预算受限的多源反事实标注分配方法,用于协调专家及大语言模型(LLM)等标注源以最小化估计器方差。研究设计了结合动态规划子程序的优化最小化算法,实现目标函数的单调优化。在合成临床与 LLM 标注教育场景中,该方法相比无标注分别将均方误差(MSE)降低了 20.58% 和 10.77%。
一项新研究针对神经偏微分方程(PDE)求解器提出状态复用评估框架,通过配对状态比较与成本核算,解耦解精度、学习贡献与数值实用性。在涉及傅里叶神经算子与卷积网络的 240 条训练轨迹测试中,预测误差降低有时反而导致共轭梯度(CG)迭代增加,而基于工作量的选择策略在留出任务上可节省 2.50-3.33 次 CG 迭代。
研究人员提出 ASPIRE 框架,通过等变集合预测器 Ev-Quiformer 预测候选鞍点并结合 Dimer 搜索进行物理精修,用于加速原子热激活扩散与缺陷演化模拟。在基准测试中,ASPIRE 实现了 77.20% 的参考事件覆盖率(传统 Dimer 基准为 75.73%),同时将受力计算量减半,单构型耗时从 478.8 s 降至 176.3 s。
研究团队提出 Spectrally Targeted Muon 优化器,通过设定奇异值阈值 $\tau$ 选择性正交化,在归一化 SGD 与 Muon 之间插值。该方法利用移位 Gram 矩阵上的 Newton-Schulz 迭代投影且无需 SVD 计算。在 CIFAR-10 与 NanoGPT 上的测试表明,动量的小奇异值并非噪声,Muon 的优势正是放大了原本过小而无法有效训练的方向。
研究人员提出 AI 治理框架 TRACE,通过 EDS 和 DART 等 7 项工具度量与修复生产级 AI 系统的可解释性债务。在日处理 50,000 笔交易的欺诈检测系统 12 个月实测中,该框架提前 6 个月预测出 0.23 的 EDS,并揭示 78% 的债务集中在超 $10,000 的高风险交易。TRACE 为落实《欧盟人工智能法案》第 13 条提供了首个量化合规架构。
Spora 针对脉冲语言模型联合设计脉冲编码与注意力算子,利用二进制时间权重让 T 个脉冲可表示最高 T 位的组合容量。在 4 个时间步下,Spora 取得 76.6 的 GLUE 平均分与 44.1 的 CoLA MCC,分别比 SpikeLM 提高 1.2 和 6.2 分。将 BBS 扩展至 6 个时间步后,两项评分进一步提升至 78.2 与 47.4。
研究者提出面向目标条件强化学习的测试时框架 WMPA,通过在学习到的世界模型中推演展开多个冻结策略并以共享价值函数评估,动态仲裁并执行得分最高的策略。该方法无需策略重训练或任务特权知识。在 OGBench 的 18 个状态数据集评测中,WMPA 将宏平均成功率从最佳单策略的 44% 提升至 58%,并在 12 个数据集上取得显著提升。
研究提出用于模因符号回归的 DSCA 校准策略,通过将优化数据划分为不同协变量分布的等大小子集,并取独立校准参数的均值进行评估。在合成基准与 10 个真实世界数据集上,相比集中式 BFGS 和 Levenberg-Marquardt 校准,DSCA 在负对数似然及 AIC、BIC 准则下改善了函数恢复能力与精度-复杂度的权衡。
研究人员提出结合强化学习与博弈论的自适应多判别器 WGAN 框架,以解决车联网环境下的生成模型资源编排难题。框架通过路侧单元的 DQN 智能体协调车载节点分布式训练,动态平衡对抗质量、延迟与通信开销。在真实 NGSIM 轨迹数据评测中,其取得最低的 1.029 RMSE 与 0.894 MAE,平均 CPU 利用率降低约 28%,内存使用量减少约 6%。
研究人员探索利用大语言模型评估电商搜索页面插入推荐模块等布局决策,以替代高成本的线上 A/B 测试。通过对比直接 prompt 评估、prompt 衍生特征及基于表征(representation-based)的方法,实验表明基于表征的方法在预测用户参与度上持续优于直接 prompt 评估,为电商搜索离线布局评估提供了可靠基础。
针对语音质量预测指标易被攻破的问题,研究提出了修正评估协议与基准,实测显示 NISQA 在 90% 的语音样本中被攻破,SSL-MOS、DNSMOS 与 UTMOS 的被攻破率分别为 21%、14% 和 6%。分析指出单个攻击者成功率受随机种子影响在 0.00 至 0.38 间大幅波动,且闭环修复会导致最高 0.30 的域外系统 SRCC 损失。相关代码与测试输出已开源。
研究人员提出 Gen-PINNs 框架,将生成对抗学习引入确定性物理信息神经网络(PINNs)以改进偏微分方程求解。该框架通过生成器配合独立判别器评估残差特征,并整合傅里叶表征、正交谱诊断及梯度动态加权机制。在 Burgers、Allen-Cahn 和 Kuramoto-Sivashinsky 方程测试中,其精度与收敛性显著优于标准 PINNs。
研究团队提出基于神经网络复杂度的“Barron 最优传输”框架,用衡量隐层复杂度的 Barron 能量替代传统动能,在概率测度空间构建了新度量。该框架量化了扩散生成模型在 Barron 几何下的次优性,证明由高斯分布推前生成的数据具有超多项式分数逼近下界。该工作进一步探讨了特征自适应性,为探索替代型生成模型提供了理论依据。
研究提出利用类生命网络自动机(LLNA)转移函数的锯齿度(jaggedness)作为理论指标,以评估复杂网络分类性能并引导规则选择。jaggedness 可作为动态混沌性与敏感度的代理指标;基于该指标的启发式搜索策略使网络分类准确率达到全局最优的 5% 以内,同时相比穷举搜索减少了 90% 的计算开销。
研究人员提出面向大语言模型白盒通用知识蒸馏的新方法 KDFP,从第一性原理出发构建适用于现代 LLM 的蒸馏方案。在 9 个 benchmark 测试中,KDFP 表现相比现有方法提升 1.6% 至 4.9%,并通过瞬态参数削减将训练效率最高提升 99.1%。
一项针对脑疾病个性化模型的研究发现,在预测拟合度近乎一致时,模型学得的潜在动力学结构仍存在显著临床差异。基于 CNN-Transformer 脑电模型对 198 名受试者的分析显示,癫痫组的依赖结构显著更密集(k=4 时 p=1.1×10⁻⁷),但两组留出对数似然基本相同(-0.992 对 -0.991),表明临床 AI 需兼顾预测精度与学得结构。
研究人员提出 PFN-OPE,通过摊销离线策略评估应对大语言模型持续部署中的策略偏移与奖励偏移问题。该方法只需预训练一次,测试时无需逐任务重新拟合,经单次前向传播即可输出目标策略的价值估计。在 HelpSteer2 与 UltraFeedback 上针对 Qwen、Llama 和 Gemma 策略的测试中,其在奖励偏移下的误差比最佳基线低 2.0 至 9.3 倍。
研究人员提出表格 Transformer 模型 MotherTree,通过在合成先验上元学习决策树归纳,仅需单次前向传递即可直接输出硬轴对齐决策树。该模型预训练无需参考树监督,在基准测试中性能可媲美递归划分、全局最优树等算法生成的大小匹配树。此外,MotherTree 可作为强初始化器,经任务调优后在所有基准和样本规模上均优于从头学习模型。
研究人员提出干预转移(Interventional Transfer,IT)方法,通过对回答施加扰动来规模化评估大语言模型生成评分标准的质量。
针对音频、视频与文本模态冲突问题,新研究构建了三通道受控信息获取与弃权基准,使策略能在权衡成本后决定请求第三通道或直接弃权。在合成测试集上,阈值策略跨 83 个随机种子取得 0.789 +/- 0.006 的目标决策准确率和 0.481 +/- 0.014 的效用,以更少信息超越多数投票基准。实验同时表明成对不确定性在各预算下效用均更高,证实请求前的选择价值取决于预算与模态排序。
研究团队提出一种结合深度生成模型与符号回归(SR)的新框架,用于从观测样本中估计未归一化概率分布的符号解析表达式。该方法融合了流模型与基于分数的生成模型,并引入先验知识与分布分解等归纳偏置来确保计算可行性。实验在多元分布以及计算物理中的 XY 模型与 $\phi^4$ 理论晶格上证实了有效性,能直接从样本中推导出不同尺度下的紧凑哈密顿量符号近似。