动作相关观测下开环、确定性等价与最优控制的性能差距
研究在动作相关观测的线性二次双线性观测系统中,分析了最优策略、确定性等价(CE)控制与最优开环(OL)控制的性能差距。基于提出的信息强度参数 $q$,证明当 $q$ 处于中间区间时,主动探测信息的策略能比 OL 取得 $\Omega(T)$ 优势,而 CE 仅获 $O(1)$ 优势,确立了 CE 与最优控制间存在 $\Omega(T)$ 的性能差距。
研究在动作相关观测的线性二次双线性观测系统中,分析了最优策略、确定性等价(CE)控制与最优开环(OL)控制的性能差距。基于提出的信息强度参数 $q$,证明当 $q$ 处于中间区间时,主动探测信息的策略能比 OL 取得 $\Omega(T)$ 优势,而 CE 仅获 $O(1)$ 优势,确立了 CE 与最优控制间存在 $\Omega(T)$ 的性能差距。
COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。
研究确定了光滑凸目标与重尾噪声下裁剪 SGD 末次迭代的最优时间一致收敛速率为 $\tilde O(t^{-\beta_p})$,其中指数 $\beta_p=2(p-1)/(3p-1)$。
Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。
研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。
研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer,在 1024 宽度下参数量减少 40.4%,持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配,该方法在训练后 10% 引入一致性损失,在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下,权重绑定的损失代价在低预算时更小。
研究提出面向动力系统时间序列聚类的 CLOCK 方法,通过时间平均 occupation kernel 将序列嵌入 RKHS 进行轨迹比较。该方法利用 Takens 嵌入定理重构相空间,原生支持不等长轨迹与不规则采样,度量可逼近吸引子间的 MMD。结合谱聚类,CLOCK 在合成与真实颅内大规模 EEG 数据集上优于基线方法,且对零均值高斯噪声具备强鲁棒性。
一项新研究提出了生成式扩散模型训练的信息论缩放定律,利用可计算的“模型信息”指标刻画模型输出对具体训练集的依赖关系。研究揭示了模型经历从纯记忆过渡到不完全泛化的非线性阶段,以及模型信息线性缩放且样本质量持续改善的泛化阶段。基于该理论导出的记忆与样本质量缩放定律具备良好的域外外推能力,相关代码已在 GitHub 开源。
针对 DP-SGD 等差分隐私算法的组合与子采样,该研究提出一种高斯近似方法,证明截断罕见大损失后,其隐私损失分布近似于同均值与方差的高斯分布。
研究者提出增强引导对抗训练框架 AGAT,利用轻量化局部稳定性评分 ALS 筛选邻域不稳定的样本进行对抗训练。在 MNIST、CIFAR-10、CIFAR-100 和 Tiny-ImageNet-200 上的实验表明,AGAT 仅对每个 minibatch 中 20-30% 的样本应用对抗监督,即取得相当或更高的鲁棒准确率,且训练时间少于所有基线方法。
MLIPDiff 通过机器学习原子间势模型 UMA 在推理阶段引入物理引导,无需重新训练即可消除预训练扩散模型在药物设计中的蛋白质-配体碰撞。该方法结合四项加权能量项,在 CrossDocked2020 上完全消除碰撞并保持局部几何结构,在 Vina Score 等指标上超越基础模型与 NucleusDiff,中位数 59.6% 的配体结合力强于参考分子。
一项基于千问(Qwen 2.5)的研究探讨了预训练容量对因果学习的影响,发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一,但显著改善了生成表现。经反事实后训练等完整流程后,CodeGen pass@1 从 0.267 提升至 0.575,干预效果分数由 0.231 升至 0.515。此外,0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。
一项研究发现,RNA-Seq 数据分类中 Boruta 推荐的 3 至 7 层浅树会严重误导基因筛选,在泛癌数据中使确认基因减少 3.5 倍。深度 5 的 50 基因面板平衡准确率从 0.889 降至 0.809,且约三分之一候选特征与类内样本质量挂钩。作者建议对树深不设限或设为实际树深的 60% 至 75%,并在 Boruta 前执行类内质量过滤。
All-in-One 攻击框架可同时针对量化、剪枝和模型合并等多种 LLM 部署转换,当用户应用其中任意一种转换时即可触发恶意行为。该方法将各类转换近似为模型权重扰动,在训练迭代中联合优化原始模型的良性损失与模拟转换模型的恶意损失。实验表明,该攻击在多种攻击场景、模型族和部署转换中均实现了高成功率。
研究提出基于局部预测一致性的机器学习个体公平性框架,作为传统成对约束的节点级松弛方案。该方法将单点预测与其局部邻域的相似度加权平均值比对,生成可解释的节点级公平性评分及基于局部残差的正则化学习机制。该方案适用于二分类、回归和事件发生时间预测,并通过图覆盖诊断优化邻域图构建与性能权衡。
研究者推出 RadonBench 基准,评估经典与学习引导搜索在组合几何无 Radon 格点构型求解上的表现。测试显示 PatternBoost 与 AlphaZero 分别构建出 10 点和 20 点的无 Radon 构型。
Pinterest 部署了名为 RLBP 的混合架构,将强化学习作为元控制器每日动态调节 PID 参数,同时保留 PID 负责高频出价。该系统基于多头 Q 网络和推理时融合动态权衡成本与预算交付,无需重新训练。在线 A/B 测试与上线后两个月的对照监测显示,RLBP 在收入不降的前提下显著降低了有效每次点击费用(eCPC)。
该研究提出 Neyman 正交激活导向方法,将大语言模型激活导向形式化为结果回归平均梯度的估计问题,明确区分了目标导向与恢复估计器。该方法将传统二元对比标签扩展至对数概率或 oracle 评分等连续结果,并结合基于 Stein score 的互补估计器,构建出具备双重稳健性的正交化估计器。团队已在多个 benchmark 数据集上验证了该框架的有效性。
研究人员提出免训练的查询感知视觉 token 剪枝方法 QViD,利用 Transformer 注意力中查询-视觉交互矩阵的低秩特性捕捉相关语义。图像与视频理解评测基准实验显示,QViD 在匹配的 token 预算下持续提升性能,且在激进压缩场景下收益最为显著。
研究提出模型无关指标 MAPS(Multivariable Predictability Score),用于量化评估多变量时间序列预测任务的内在可预测性。该指标利用协变量信息评估不同回看窗口与预测期下的可预测性,量化预测可用的有效信息。在与 6 种基准指标的对比中,MAPS 在合成数据上与预期参考高度一致(r=0.963),并在多数实验配置中展现出更可靠的评估表现。
新研究提出一种 Fisher 对齐的参数分布,证明深度学习模型的 PAC 泛化误差界与 Fisher 信息矩阵的期望秩直接相关,期望秩越低泛化表现越好。该方法利用 Fisher 信息度量捕捉功能不变性,在保证低损失的同时实现了与零特征值数量成比例的大参数对数体积,推导出了紧凑的高概率泛化误差界。
一项针对 CTR 模型事后校准的研究表明,重校准拟合采用较宽时间跨度优于仅依赖最近数小时的新鲜数据。在 Avazu 数据集上,12 小时拟合切片表现最佳,且降采样至 5% 展示量(拟合加速 20-25x)即可保留完整切片 88% 的增益。此外,离线随机划分将 LR 模型的 ECE 严重低估至时序评估的 55-62%,而在模拟拍卖中重校准仅影响 -0.21% 至 +0.26% 的利润。
Neural-DISCO 是一种解耦表征学习框架,支持在给定源响应下选择性编辑特定行为或刺激标签,以预测反事实神经群体活动变化。该框架将潜在空间划分为标签特定分量与残差分量,在生成反事实响应的同时保留其余观测标签和源特异性变异。结合特征归因方法,它可在单神经元分辨率下识别关键神经元,相关代码已开源。
该研究利用物理信息神经网络(PINN)求解半导体漂移-扩散方程,在非平衡态下取得了与传统仿真软件相当的精度。该方案针对具备极端载流子浓度梯度的一维和二维突变 PN 结,在所有偏置条件下均能准确获取各项可观测物理量。此外,该求解器还能在非零偏置下直接从目标电场或电势反演掺杂分布,有效解决半导体建模中的逆问题。
研究者提出 k 近邻分类器 PAI-KNN,通过在推理时调整先验而非修改记忆,应对概念漂移与类别不平衡下的数据流分类任务。该方法维护简单的滑动窗口缓冲区,利用近期观测得出的类别先验估计动态调整决策规则。在多种合成数据流评测中,PAI-KNN 达到与 SOTA 相当的性能,在动态类别不平衡和概念漂移场景下表现尤为突出。
低资源诊所离线呼吸音分类研究表明,特征缩放带来的提升远超模型架构选择。基于 30 个统计特征的 SVM 经标准化后宏召回率从 0.51 跃升至 0.78,表现媲美 1.13M 参数的卷积循环网络(0.75 至 0.77)。在纯 CPU 笔记本上两类模型单片段延迟均为 51 至 74 ms,但经典模型避免了 449 MB 的 PyTorch 运行时依赖。
一项预注册研究发现,自我改进智能体从偶发失败中总结的教训会误导后续决策,使得选择劣质工具的比例从 0.4% 升至 11.6%。研究在 256 个任务环境中测试了 11 个 LLM 端点的 90,084 次回答,确认优质工具偶然失败后会产生显著的运气传递效应。在提示词中加入决策质量说明或保持现状选项,可将劣质工具选择率分别降至 7.5% 和 3.1%。
跨架构测试表明,在 2k 窗口下进行动态梯度更新,可使 softmax 注意力模型(Qwen3-1.7B、Gemma-4-E4B 等)loss 下降 5-8% 并超越 32k 冻结模型,在扩散模型上降幅达 8-20%。但混合 Gated-DeltaNet 模型提升不足 1%;且在 RULER 等基准中,该自适应仅改变风格与词汇而无法恢复检索,直接写入事实还会让 GSM8K 下降 36-38 分。
研究提出通过技能自适应来改进智能体外挂自演化,解决提升强模型的技能往往会降低弱模型性能的问题。团队针对工具执行与指令遵循等失败模式提炼出固定元技能,指导重写器改写现有技能,让弱执行模型的表现提升 5.1 至 14.1 分。在跨 7 个模型的五轮自演化测试中,结合该元技能的演化循环使最终得分稳定提升 2.0 至 5.1 分。
研究提出 Noise Steering 方法,利用无模型强化学习(RL)联合控制风力涡轮机偏航角与功率设定点,在满足区域噪声约束的同时最大化风电场发电量。在 6 台涡轮机测试中,该策略全程满足 40 dB 噪声约束,相比贪婪控制平均功率损失仅 2%,远低于行业标准降噪运行(NRO)基线 17% 的功率损失。
RubricAtlas 评估框架通过从专家研报中提取类型级细则,用于系统评测深度研究智能体生成报告的分析完整性。该框架基于 3,079 篇中文金融研报构建并覆盖 99 种研究类型,将二元检查点关联至原文段落,独立评估完整性与论证有效性。在 10 个智能体的测试中,裁判流程取得 $\kappa$ = 0.71 的检查点一致性与 Kendall $\tau$ = 0.87 的排名一致性。
研究人员提出首个基于联合嵌入预测架构(JEPA)的无解码器移动 GUI Agent 动作策略 GUI-JEPA。它利用在未标注 GUI 截图上预训练的隐空间,通过轻量级评分头在单次批处理中为候选动作打分,避免了传统 VLM 逐 token 解码的高耗时与显存占用。
研究人员提出多智能体框架 Evolving Agent Teams,通过中央监督者诊断局部最优并动态重组智能体团队,结合持久化文件系统积累的演化经验突破复杂工程瓶颈。
推荐理由:论文针对编程智能体容易陷入局部最优的痛点,提出了通过中央监督者动态重组团队并积累持久经验的通用协作范式。
一项新提出的近似策略迭代算法解决了有限时域零和部分可观测随机博弈(zs-POSGs)的高维求解难题。该方法无需近似完整中心价值函数,而是利用当前联合策略诱导的单个支撑超平面更新策略,将计算集中在易被利用的占用区域。在基准测试中,相比 PBVI、HSVI 和 CFR+,该算法在大时域下改善了运行时间与可利用性之间的权衡。
研究人员提出 RuHarness 框架,通过协同进化评价准则(rubrics)与外壳(harnesses),解决监督标准静态带来的局限,实现 AI 智能体的持续自我改进。该框架能从执行轨迹中动态发现并重新评估行为准则,优先定位未解决的关键弱点以指导针对性的外壳更新。实验表明,RuHarness 在多项任务与骨干模型上均优于现有基线,尤其在未见保留任务上展现出更稳定的泛化能力。
研究提出证据容许性接口 PIP-ToM,通过构建智能体专属证据库并校准假设评分,解决多模态心智理论(Multimodal ToM)中的视角泄露与来源混淆问题。该方法确保仅将智能体可访问、保留信息源且具备诊断性的证据纳入心理状态假设评估,同时保留底层贝叶斯推理过程。
研究提出基于轻量级知识图谱的增量学习者数字孪生(Learner Digital Twin),用于实现基于证据的学习风险早期预警。系统在时间检查点通过重放学习轨迹与评估记录更新,作为特征提取与解释落地的双重基底。公开基准评测显示,该方法在保持模型预测性能的同时,将预警实体化为可追溯至原始记录的证据链。
研究提出一种借助大语言模型表示与度量数学论证的有向无环图框架,以最长前提路径定义深度,以不同祖先边数统计体积。该方法采用标准化提示词协议分离标注发现、确定性重算与审查辅助,支持跨论文分析定理共用和依赖社区。其应用包括辅助审查人类与 AI 生成证明中的疏漏或未检验条件,但度量仅针对特定表示而非数学内在难度。
研究人员扩展了开源优化器 GEPA,通过在每个优化步骤中批量提议并评估候选方案,使多数运行的实际耗时减少一半以上,最快仅需约三分之一到四分之一。该批处理方案在 LiveBench-Math 上的测试得分从 68.9% 提升至 72.1%,在 HoVer 上从 49.0% 提升至 60.0%,同时更高效地利用了指标调用与资金预算。
最新研究针对 LLM 验证自然语言奥数证明的能力展开评测,构建了经专家批改的 USAMO 2025 解答数据集,并在 20 款模型上发现现有表现仍有较大提升空间。