ENFR:基于流匹配参考的摊销模拟模型推断证据网络
研究者提出了 ENFR(基于流匹配参考的证据网络),可实现对绝对模型证据 Z 准确、快速且分摊的估计。该方法基于证据网络框架,先学习相对于流匹配参考的贝叶斯因子,进而恢复绝对证据,并在基准测试的所有密度估计方法中取得最佳性能。此外,论文还引入了一种可联合学习多个模型集合独立证据的架构并给出了证明。
研究者提出了 ENFR(基于流匹配参考的证据网络),可实现对绝对模型证据 Z 准确、快速且分摊的估计。该方法基于证据网络框架,先学习相对于流匹配参考的贝叶斯因子,进而恢复绝对证据,并在基准测试的所有密度估计方法中取得最佳性能。此外,论文还引入了一种可联合学习多个模型集合独立证据的架构并给出了证明。
研究人员提出了一种面向球面 HEALPix 像素化方案的 SO(3) 等变卷积神经网络(CNN),通过可控滤波器、平行移动和自旋加权特征内置精确物理对称性,免去网络耗费数据学习对称性的成本。
研究人员提出基于伴随分布(escort distributions)的核 Stein 差异,为 Rényi 差分隐私提供可计算的验证证书。通过设计针对特定隐私方向的核函数,该方法进一步导出了任务感知的隐私证书。研究给出了高斯和拉普拉斯机制的精确恒等式,以及指数机制的界限与独立任务感知保证,并通过真实数据集验证了受保护比对集与发布子空间对证书的影响。
研究针对慢非平稳约束马尔可夫决策过程(MDP),在双时间尺度假设下分析了原始-对偶方法的参数共振现象。理论表明,原始更新所用约束估计与对偶更新所用测量之间的不匹配会导致两倍固有频率的参数共振,其容忍度随双步长比的平方根衰减。在拉格朗日软行动者-评论家(SAC)智能体实验中,相干成本评论家能有效抑制乘子锁定,验证了理论预测。
一项新研究针对网络宽度与输入维度成比例增长的两层神经网络,提出了基于重叠分布的介观学习动力学分析框架。在训练初期,高斯统计描述将动力学简化为追踪目标函数线性和二次分量的少数集体变量,随后通过过滤梯度波动的二次屏蔽机制加速单个特征的特化。该工作阐明了激活函数对特化模式的影响,揭示了网络从集体学习向个体特征发现转变的物理机制。
研究人员提出了一种为大规模迭代算法构建随时有效(anytime-valid)数据自适应边界的通用方法,以支持数据依赖的动态早停。该方法将算法误差分析归约为可预测加权噪声和的时间均匀集中,并通过混合法、拼接法和乘积下注鞅给出即开即用的边界构建方案。该框架适用于随机梯度下降(SGD)、时序差分学习等场景,在 SGD 上复现并显著收紧了现有全部已知包络。
研究人员提出一种针对格拉斯曼流形响应值回归的自适应共形预测框架,可直接在流形上构建度量球形式的输入自适应预测区域。该方法以基不变几何距离为不一致性度量并通过预测难度估计器缩放得分,在可交换性假设下保留了有限样本边际覆盖保证。合成基准与机翼逆向形状设计实验表明,其在强异方差场景能显著缩小预测区域并维持目标覆盖率。
研究者在高维高斯设计的高维线性分类场景下,探讨了最小化标注预算泛化误差与累积成本的最优样本查询策略。研究证明贪心短视策略对应随时间缩小的中间间隔策略,并据此设计出简单查询策略,在合成数据和真实医学图像数据集上进行了对比验证。研究还分析了两层神经网络中的短视策略,指出了朴素间隔策略失效的场景。
在竞争风险生存分析中,解耦评估 3 种损失与 4 种主干架构的研究表明,采用删失加权直接建模累积发生率的损失起决定性作用,其收益是选择优秀主干的两倍。将该损失与 RealMLP 或 TabM 结合,在跨 20 个表格和 3 个病理图像数据集的评测中取得了最佳 Brier 分数。研究还发现常用的 C-index 无法有效区分模型差异,需采用严格适当评分规则。
研究揭示了共形检验鞅(CTM)在检验可交换性时的理论盲区:任何保持前推分布不变的分布偏移都会使 p-value 分布保持不变,导致基于对应一致性函数 A 的所有 CTM 完全失效。
该研究针对具有独立稀疏噪声的双重稀疏 Spiked Wigner 模型,系统分析了稀疏秩一信号的区分性与恢复问题。在亚高斯噪声下,留一法二次阈值处理能够识别支集,配合符号同步实现精确恢复,谱细化实现强恢复,并给出了计算成本与稀疏度的明确权衡。针对连续噪声,论文提出利用未模糊信号条目的搜索算法,将图连通性确立为精确恢复的充分条件。
研究发现因果基础模型在聚合单位级估计时会导致置信区间覆盖率严重下降,无法为群体平均效应提供校准的不确定性。例如在 ACIC 2016 基准上,CausalPFN 的 95% 置信区间在样本超过 30 时覆盖率即低于标称值,全样本均值仅在 20% 的数据集中包含真值。通过引入能进行群体联合预测的两个神经过程模型,覆盖率在合成任务及全套 6 个基准上均得到显著改善。
该研究解决了全连接 ReLU 神经网络一致逼近 Hölder 球时与信息论效率极限存在差距的问题,针对任意 $s>0$ 和 $D\ge1$ 闭合了这一差距。宽度为 $O(N)$、深度为 $O(L)$ 且参数大小为 $O(1)$ 的网络可达到 $(N^2L^2\log N)^{-s/D}$ 阶的一致逼近误差,且不限制宽度与深度的关系。
NeurIPS 2026 入选论文指出,仅凭线性探针的高解码准确率并不足以证明视觉模型具备真正的线性世界模型,因为任何足够丰富的特征映射(包括随机核机制)都能实现线性读出。研究团队提出了反向可预测性、谱集中度和分布外泛化三项非对称诊断指标。在 6 个预训练视觉 Transformer 模型上的测试表明,预训练产生的结构远未达到真正的低维线性表征。
研究人员提出了面向策略型买家的信息源感知上下文动态定价框架,并开发出 SALE 定价策略。该策略利用已验证特征进行局部化价格探索,并结合已验证特征与自报告特征校正利用阶段的策略性操纵。SALE 具备自我恢复特性,能在非独立同分布买家到达下实现一致稀疏估计与次线性期望遗憾界,仿真和真实数据实验均验证了其良好性能。
研究者证明了在均匀分布与大误差区间下,布尔函数的量子 PAC 学习与经典 PAC 学习之间存在无条件的超多项式分离。针对优势 $\lambda(n) = n^{-\omega(1)}$,多项式时间量子学习器仅需量子随机样本即可输出多项式规模确定性经典电路并达到 $1/2+\lambda(n)$ 的一致度,而经典学习器即便使用成员查询也无法达到同等水平。
研究人员提出在数据重上传参数化量子电路中引入固定的任务定义谱查询,以实现任务对齐的归纳偏置。通过编码查询调制现有信号频率的组合方式,可在不引入新样本信息的前提下改变电路的假设空间,适配非均匀傅里叶变换相关任务。在小规模谱任务与合成孔径雷达分类任务中,对齐查询相比查询不匹配或缺失的参数匹配电路,显著提升了小样本数据的学习表现。
研究人员提出一种利用 AI 智能体优化量子电路编译的新范式,通过将瓶颈子程序约束为经典可验证结构,并结合模糊测试等方式实现近似电路合成的高效认证。该方法适用于惯性约束核聚变中的库仑算符模拟瓶颈 $1/\sqrt{x}$ 计算、Reed-Solomon 码解码,以及二次量子化化学模拟中的量子查找表与受控 Givens 旋转。
研究提出面向量子网络传输质量(QoT)估计的“计算/仿真/学习”(compute/simulate/learn)决策框架,用于为路由调度等控制面决策提供端到端保真度评估。研究表明,解析计算适用于简单场景,随机存储效应显著时必须采用仿真,而轻量级学习代理模型能以极低运行时成本逼近仿真结果以支持在线控制。该工作同时指出了 Sim-to-Real 迁移及全拓扑泛化等部署挑战。
研究者基于再生核希尔伯特空间(RKHS)推导出 IQP 特征映射量子核生成元的傅里叶表示,发现其表达特性随带宽超参数划分为局部化、多峰与周期性三种区间。在受控合成数据集上的监督分类和无监督异常检测实验中,该结论在对比经典高斯核时得到验证。结果表明,仅当可访问频率与数据结构匹配时,IQP 核的表达能力才能转化为实际优势。
研究人员提出针对量子神经网络的训练后剪枝框架 ConQUESTA,结合任务显著性与编译器成本,在显式精度约束下跨多种硬件拓扑整体转译搜索剪枝掩码。在 4、6 和 8 量子比特 QNN 的 55% 剪枝实验中,其在 Breast Cancer、Digits01 和 Iris 任务上分别实现 61.6%、72.0% 和 82.2% 的平均资源缩减。
研究人员提出通过机器学习预测量子近似优化算法(QAOA)的高质量变分角度,将耗时的单实例经典优化替换为单次前向传递。该开源模型在速度上提升了数个数量级且解的质量几乎相当,同时可泛化至 Barabási-Albert 和 2D grid 图等未知拓扑。量子硬件实验证实,该模型生成的角度在采样表现上与传统求解器无异。
研究人员提出了一种结合经典神经网络与参数化量子线路的变分框架,通过最小化残差成本函数来求解林德布拉德主方程(Lindblad master equations)。该方法在扩大的希尔伯特空间中通过纯化表示密度矩阵,确保正定性、厄米性与单位迹,并通过参数移位法则精确计算所有梯度。理论分析推导了该组合模型的覆盖数上限,数值实验验证了其在耗散量子动力学模拟中的高精度以及关于梯度浓缩的理论预测。
华盛顿大学戴维·贝克团队开发出生成式 AI 系统 RFdiffusion3,能够直接在原子层面设计蛋白质和核酸,生成结构的速度约为前代系统的 10 倍。在 41 个已有酶活性位点的计算测试中,该系统在 37 个案例中表现优于前代 RFdiffusion2,设计范围还延伸至 RNA 等核酸分子。团队已在湿实验中验证其设计的分解对氧磷酶与特定蛋白酶,均成功完成了预期化学反应。
研究人员通过在大量合成关系数据库上预训练基于图的关系基座模型 Griffin,探索了先验数据拟合网络(PFN)在消息传递架构上的泛化能力。模型将预训练编码器的隐式表征直接传递给冻结的上下文预测器,无需在下游任务上进行微调。在 16 个真实关系分类任务的评估中,先模式引导后模式无关的纯合成课程学习取得了最强的冻结上下文预测表现。
研究者提出 GR-OPD(Group-Relative On-Policy Distillation),将 token 级教师反馈聚合为校准后的序列级信用,以解耦反馈计算与信用分配。
研究人员系统解构了循环大语言模型中的拓扑结构、输入注入和循环状态设计,证实 Huginn 架构在 730M 参数及 336B token 规模下全面优于 Ouro。
研究表明在宽度为 W、深度为 D 的 ReLU 网络插值解空间中均匀随机抽取参数,模型仍能以 $\tilde O\left(\frac{wdWD}{n}\right)$ 的速率自适应泛化,而非受限于大网络的全 VC 维。
研究者提出一种在 1D 非线性可分数据上通过逻辑斯蒂损失训练的双神经元 ReLU 极小网络模型,用以分析大步长梯度下降(GD)在稳定边缘(EoS)及以上的动力学。
研究人员提出端到端框架 LENS,通过度量移除特定节点时的邻域熵减小量来识别图数据中的噪声节点。该方法引入重标记机制以恢复并保留特征信息,避免直接丢弃噪声节点。实验表明,LENS 在取得 SOTA 节点分类准确率的同时,计算开销极低,运行速度比现有抗噪方法快一个数量级。
研究人员提出了面向时间受限联邦学习的联合优化框架 TALLOP,用于在每轮时间预算下权衡本地训练负载与通信压缩。该方案通过 LENS 利用早期小批量损失轨迹预测训练损失,并通过 CLEN 压缩误差模型评估压缩退化,从而选择让压缩后损失最小的分配方案。在异构联邦学习环境下的实验表明,TALLOP 相比仅优化本地训练或两者均不优化的方法,能取得有竞争力或更优的目标精度耗时。
研究者提出了 DP-μP 框架,将最大更新参数化(μP)拓展至差分隐私(DP)训练场景。该框架通过分析梯度裁剪、噪声注入与特征学习的相互作用,导出基于信噪比(SNR)的逐层学习率缩放条件,并为 DP-SGD、DP-Adam 和 DP-Muon 优化器制定了具体的缩放规则。实验表明,DP-μP 在 MLP、ViT 和 GPT-2 等架构上实现了跨模型宽度的学习率零样本迁移,大幅降低计算成本。
一项新研究给出了非参数二分类中对抗分类器几何精度与鲁棒性之间的最优定量估计。研究证明,在由对抗预算 $\varepsilon$ 衡量的鲁棒性下,稳健分类器牺牲的几何精度(基于与贝叶斯分类器的 Hausdorff 距离)至多为 $O(\sqrt{\varepsilon})$ 或 $O(\varepsilon)$。
大型扩散模型仅靠恒定学习率搭配指数移动平均(EMA)存在优化局限,研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益,而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA,兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。
研究人员提出多 GPU 分布式算法 LeMA,通过精确对偶形式与雅可比分片策略,将 Levenberg-Marquardt 算法的显存开销从参数量的二次方降至批大小的二次方。该方法无需 PCG 近似即可对十亿参数模型执行精确求解。在 8-GPU 节点上训练超过 10 亿参数的卷积神经网络时,LeMA 相比单 GPU 实现了 7.97x 加速比与 99.7% 的强扩展效率。
研究者提出了特征选择层(Feature Selection Layer)的多项扩展方案,这是一种用于神经网络的嵌入式特征加权机制。该方法直接将特征相关性学习融入训练过程,在识别全局相关特征上比肩现有技术,并在捕获特定标签的特征相关性方面超越了既有方法。它利用训练后神经网络的内部动态揭示特征贡献,训练完成后无需任何后处理。
研究发现 Transformer Programs(TP)的高 token 准确率会掩盖完整的错误答案,通过程序检查能发现抽样测试遗漏的失效并指导训练优化。作者在 9 个算法任务上评估 TP,针对抽样测试达 100% 准确率但穷举失败的计数任务补充训练样本后,重训模型通过了有界域内的全量评估。分析还显示 TP 训练过程可能在后期引发准确率下降,且受限操作组合可能消耗多层结构或大查找表。
研究提出并发约束强化(CCR),将 3 个独立可验证问题置于单一上限训练生成中,通过共享预算促使模型在无显式长度惩罚下缩短推理。
研究人员针对条件扩散模型中的无分类器引导(CFG)机制,提出了轻量级的原型正则化(PR)方法,通过塑造潜在空间类别几何来提升引导生成质量。
研究针对对话场景提出部分揭示标注面板预测任务,即利用上一轮对话中 n 个标注员中的 k 个投票来预测下一轮完整投票分布,并定义了粗化一致的面板算子。在冷启动计数负对数似然测试中,该方法相比逐级查表在 IEMOCAP、M3ED 和 EmoWOZ 上分别带来 -0.422、-0.166 和 -0.014 nats 的差异。