论梯度裁剪方法的末迭代收敛性
研究人员首次证明了 Clipped-SGD 在重尾噪声环境下以高概率成立的最优末迭代收敛速率，填补了该领域的理论空白。传统 SGD 在重尾噪声下面临发散或表现不佳的问题，而结合了梯度裁剪的 Clipped-SGD 虽在实践中表现良好，其末迭代收敛性质此前却缺乏充分研究。
#论文/研究
#论文/研究
今日 2 条arXiv stat.MLAI 评分2727 arXiv stat.MLAI 评分4242 RSHD：通过回溯反思蒸馏从全失败尝试中恢复监督信号
研究人员提出基于重放筛选的回溯蒸馏方法（RSHD），可在 GRPO 训练期间将失败推理转化为经测试的额外监督来源。该方法让策略在不接触参考答案的情况下针对失败尝试生成修正提示，并在重放成功率更高时将其蒸馏回原策略，从而从全组失败中恢复学习信号。实验表明，RSHD 在多个模型家族、尺寸及两个训练领域中均持续优于 GRPO，收益可泛化至域外评估集。
arXiv stat.MLAI 评分2727 用于多数据流最速突变检测的 MoE 框架
研究人员提出了一个用于最速突变检测（QCD）的混合专家（MoE）框架，通过多个专家生成检测统计量序列，并在其加权和超过阈值时判定发生突变。该框架应用于多数据流 QCD 场景，可克服广义似然比最优算法计算成本高昂的问题。在实值高斯均值漂移数据和高维 GB-RBM 数据上的仿真实验表明，该 MoE 算法性能超越了基于 Shiryaev-Roberts 统计量的 RWS 方案。
arXiv stat.MLAI 评分4040 SurvICL：用于上下文内心衰与生存分析的基础模型
研究人员推出用于上下文内生存分析的表格基础模型 SurvICL，可在无需微调的情况下直接预测生存曲线。该模型在基于新型比例优势先验生成的纯合成数据集上通过分位数回归损失预训练。在包含 103 个数据集的基准测试中，SurvICL 在 63 个保留数据集上的综合 Brier 得分两两对比胜率达 82.9%，击败了 20 个基线模型并首次超越经典的 Cox 模型。
arXiv stat.MLAI 评分3535 控制回路中的神经网络训练与部署：离线学习引发的分布偏移及在线自适应机制
离线训练的神经网络部署于闭环控制系统时会改变状态分布并引发轨迹发散。研究提出了统一分类法，将该过程的形式化失效模式分为闭环辨识误差、动作误差与持续跟踪误差，并通过离散时间敏感性分析证明离线参数必然因局部损失几何特性导致性能下降。为此提出的时间尺度分离在线自适应策略在非线性达芬振子（Duffing oscillator）消融实验中得到验证，成功通过有界持续学习抑制了轨迹发散。
arXiv stat.MLAI 评分2929 重新审视连续剔除（Successive Rejects）算法
研究者提出了优化阶段长度调度的 $H_1$-SR 算法，改进了固定预算最佳臂识别的经典 Successive Rejects 框架。在同方差高斯臂设定下，对于任意 $K\ge2$，$H_1$-SR 均能达到所有自适应算法最优归一化速率的至少 11/12，并在 $K\to\infty$ 时收敛至 1。在 10 个合成实例和 2 个高斯基准测试中，该算法在有限预算下取得了显著提升。
arXiv stat.MLAI 评分3131 面向外部决策者的实验设计
研究提出“使用感知实验设计”（usage-aware experimental design）框架，扩展了假定仅由实验者自身决策的传统贝叶斯实验设计（BED）。该框架通过训练自适应策略来最小化“使用风险”，即外部黑盒或非贝叶斯规则处理收集数据时实验者的预期损失。研究证明在此类规则下更多信息可能带来危害，该框架严格泛化了标准 BED。
arXiv stat.MLAI 评分3636 SelectPFN：基于先验数据拟合网络的高摊销贝叶斯变量选择方法
研究者提出面向稀疏非线性回归的 SelectPFN 模型，能在单次前向传播中联合完成贝叶斯变量选择与预测，并输出所有变量的后验纳入概率。该网络基于群组 spike-and-slab 稀疏输入先验完成预训练，结合 knockoff 特征可实现精确的有限样本错误发现率（FDR）控制。
arXiv stat.MLAI 评分2525 基于期望最大化算法应对元素级污染与部分观测数据的稳健协方差估计
针对元素级污染与缺失数据场景，研究团队提出一种基于随机逼近期望最大化（SAEM）算法的稳健协方差估计方法。该方法将 Student-$t^*$ 模型的推断扩展至不完整观测，把坐标级尺度的随机更新与 Rao-Blackwellized 高斯条件矩结合，避免显式采样潜在高斯变量。
arXiv stat.MLAI 评分3737 条件均值流：面向基于模拟推断的少步密度估计
研究人员提出用于后验与似然估计的条件均值流（conditional mean flows），将少步采样与易计算的密度评估相结合。该方法通过独立掩码直接估计边际似然，在保持基于流的密度估计器灵活性的同时大幅缩短推理时间。实验显示，单步条件均值流密度评估的误差与 200 步 flow matching 相当，并使下游 MCMC 采样提速约 200 倍。
arXiv stat.MLAI 评分3636 Muon 何时最优？径向脆弱性与 Minimax 几何
研究探讨了神经网络训练优化器 Muon 采用近似极因子更新的最优性条件及其曲率解释的稳定性。研究者引入随机半径各向同性曲率模型（RR-ICM），证明平均曲率解释存在径向脆弱性，无原子径向分布会导致零容量刚性。为此提出的 Minimax RR-ICM 表明，在球面概率分布的最坏情况下，非零全局极小值严格落在梯度的极射线上，为 Muon 的极方向提供了极小化极大变分表征。
arXiv stat.MLAI 评分3333 基于狄利克雷过程的深度神经网络无维度 PAC-Bayes 泛化界
研究人员提出通过狄利克雷过程（DP）将先验从参数空间转移至数据分布空间，构建出与网络参数量、宽度和深度完全无关的无维度 PAC-Bayes 泛化界。该方法利用数据处理不等式使参数空间相对熵受限于数据空间 DP 散度，避免了过参数化网络中泛化界失效的问题。
arXiv stat.MLAI 评分3232 零样本条件离散扩散中的 Score 不匹配与集合约束采样
该研究针对零样本条件离散扩散生成提出了首个 score 不匹配理论分析，推导出通用的 KL 散度上界以量化不匹配带来的偏差。分析涵盖文本填空、句子补全等逐坐标集合约束，证明经典 Conditional SEDD 采样器的偏差会随维度、词表大小和兼容性缩放。研究据此提出 Randomized Hard Clamping（RHC）采样器，数值与真实数据实验验证了其有效性。
arXiv stat.MLAI 评分3030 本地差分隐私下单变量密度的不可知高效学习
研究人员提出了一个在非交互式本地差分隐私（LDP）下学习分段多项式可逼近结构化单变量分布的通用框架。该方法首次为对数凹分布混合（如高斯混合模型 GMM）等分布族提供了样本高效、计算高效且具备不可知（agnostic）保证的学习算法。此外，该工作还证明了 LDP 下学习 GMM 的更优下界，并开发了大域合成数据生成的高效算法。
arXiv stat.MLAI 评分3535 高斯变分推理中的加速机制及其局限性研究
研究探讨了经典动量加速能否将强对数凹、对数平滑目标分布的高斯变分推理（GVI）条件数依赖从 $\kappa$ 优化至 $\sqrt{\kappa}$。在精确高斯期望下，GVI 的凸复合形式可实现经典的 $\sqrt{\kappa}$ 加速收敛率；但在仅有逐点导数时，任何随机算法均需 $\kappa^{1-o(1)}$ 次查询。
arXiv stat.MLAI 评分2727 面向群体特定扩散模型的两阶段 Score 估计方法
研究者提出了一个用于扩散迁移的统计框架，通过结合共享的汇总 score 与目标特定偏移量来建模相关分布。该理论推导了收敛速率并分离出两部分的学习成本，证明了在扩散时间趋近于零时偏移量保持有界且具备联合正则性，从而为扩散模型作为密度估计器提供了总变差保证。合成模拟和图像基准测试为该框架提供了概念验证。
arXiv stat.MLAI 评分3030 径流极端值下集成离散度失效研究：排序正确但规模低估
研究发现用于径流预测的深度学习模型（如 LSTM）在极端流量下存在严重的集成离散度不足，预测误差在常态下是修正离散度的约 2x，在最高流量下可达 4x，超出训练记录的极端观测中差距甚至达 18x。尽管其不确定性排序指标 AUSE 接近完美（0.071），但仅按预测流量排序也能达到类似效果。这种排序有效性掩盖了规模低估，导致模型在关键极端事件中系统性低估风险。
arXiv stat.MLAI 评分3232 随机梯度下降（SGD）：非线性时间序列视角
研究者从迭代随机函数框架出发，探讨了常数步长随机梯度下降（SGD）的统计学性质。通过证明 SGD 的几何矩收缩（GMC），该研究直接在欧几里得距离下建立了收敛性，并证明了平均 SGD（ASGD）在任意初始化下的淬火中心极限定理与 $\alpha$-稳定收敛。此外，研究还利用多步长增强 Richardson-Romberg 外推法降低估计偏差，并提出了新的在线推理方法。
arXiv stat.MLAI 评分2727 面向删失结果的灵活双重稳健代理因果推断框架 PSB
研究者提出了 Proximal Survival Bridge learning（PSB），一种用于存在未测量混杂且含右删失生存结果的灵活双重稳健代理因果推断框架。
arXiv stat.MLAI 评分2727 时间分割高斯过程混合模型（TPGPMM）
研究者提出了时间分割高斯过程混合模型（TPGPMM），这是一种用于识别时间序列中持续状态并建模非平稳依赖关系的贝叶斯非参数框架。该模型将连续分段上的自适应 Pitman-Yor 先验与特定状态的高斯过程结合，并通过 split-merge Metropolis-within-Gibbs 采样器联合学习变点与超参数。
arXiv stat.MLAI 评分4242 完备或稀疏：神经网络表征可识别性的双重视角
针对神经网络何时能恢复真实潜在变量的可解释性难题，NeurIPS 2026 论文从因果方向提出了生成与判别两种设定下的可识别性理论证明。在生成设定中，非负激活与能量效率约束可促使单个神经元精准编码单一潜在变量；在判别设定中，结合稀疏性与压缩感知结构，稀疏字典学习能实现欠完备非线性 ICA 的可识别性。该理论预测已在合成基准以及视觉模型、大语言模型和猕猴下颞叶皮层的激活数据上完成验证。
arXiv stat.MLAI 评分3535 流映射训练的稳定性与收敛性研究
该研究为流映射（Flow Map）训练中停止梯度算子和自适应加权等经验技巧提供了理论解释。通过分析 MeanFlow 与 Lagrangian 损失诱导的泛函梯度流，研究证实了其收敛到真实流映射的有效性，并指出有限步更新可能无界的问题。结合自适应归一化与特定重加权方案可确保有界更新及邻域收敛，合成数据与图像实验均验证了该训练动态分析。
arXiv stat.MLAI 评分3232 图可加性模型解耦特征、拓扑与交互：AMIGA 架构
研究人员提出图可加性模型 AMIGA，通过挖掘的主题词表表征拓扑结构，并将节点贡献解耦为特征、结构及特征-结构交互三个加性通道。在 10 个图分类与回归基准测试中，AMIGA 在多数数据集上超越了 GNAN，并缩小了与标准黑盒 GNN 的性能差距。模型各通道围绕图平衡基线中心化，可生成精确重构模型输出的多粒度节点局部解释。
arXiv stat.MLAI 评分3131 用于稀疏观测随机场的潜空间退火后验采样方法 LAPS
研究人员提出了结合保方差桥的潜空间退火后验采样方法（LAPS），用于解决稀疏观测下随机场的后验推断难题。该方法先将随机场降维映射至潜空间并用 Flow Matching 学习先验，再通过退火过程完全在潜空间执行后验采样。
arXiv stat.MLAI 评分2525 列表可复现性的多对数上界简短证明
研究人员针对包含 $N\ge 2$ 个域点上 $M\ge 2$ 个二元概念类的列表可复现数，给出了一个简短且自洽的证明。该研究证实了其多对数上界为 $O(\log^2 M\log N)$，沿用了此前 Zhang 提出的总体思路，但采用了更为简化的论证过程。
arXiv quant-phAI 评分2626 冒泡排序交换网络：纯交换自旋链的对称选择定则与语言模型蒸馏
研究人员构建了基于纯交换自旋量子比特的变分冒泡排序交换网络，推导出总自旋守恒下的对称选择定则，并在无噪声模拟中将 GPT-2 受限词表上的下个 token 概率分布蒸馏至该网络。
arXiv quant-phAI 评分3232 基于强化学习的固态量子比特量子控制
研究人员通过仿真分析了无模型强化学习在自旋浴中 NV 核自旋间接控制等复杂场景下的性能，用于态制备与量子比特门设计。该研究利用广义团簇关联展开对包含磁性杂质及浴内相互作用的自旋浴建模，并在最小可观测环境以及含噪、稀疏奖励条件下测试了 RL 智能体，同时将其与其他前沿黑盒优化工具进行了对比。
arXiv quant-phAI 评分2424 用于紧急优先交通信号控制的量子-经典混合优化研究
研究人员针对紧急车辆优先的交通信号控制提出有限时域 QUBO 表述，并在三交叉口走廊中对比了精确 QUBO 优化、QAOA、CVaR-QAOA、量子机器学习策略、定时控制与最大压力控制。基于优化的控制器在三种交通需求机制下均实现了可靠的紧急通行，而增大紧急优先权重会缩减紧急通行时间但加剧整体拥堵。CVaR-QAOA 比标准 QAOA 更精确地复现了精确 QUBO 解，但闭环交通表现的差异相对较小。
arXiv quant-phAI 评分2929 相同频域不同训练难度：单量子比特与多量子比特重上传线路中的锁相现象
单量子比特串行重上传线路虽然与同编码预算的多量子比特线路具有相同函数表达能力，但由于存在状态仅沿单一复方向移动的“锁相”现象，导致其一阶训练难度显著增加。在编码预算 $E=32$ 的平坦谱测试中，串行线路在梯度下降、Adam 和 Levenberg-Marquardt 下的收敛成功率仅为 3%、53% 和 83%，远低于双量子比特对照组的 99%、100% 和 100%。
arXiv quant-phAI 评分2626 通过学习 SNAP 门的稀疏结构降低 qudit 态制备成本
研究人员提出一种通过可微掩码同时学习所需相位及其数值的方法，以降低玻色 qudit 中 SNAP-Displacement 序列制备量子态的控制成本。该方案利用稀疏惩罚移除不必要的相位，并通过温度退火将掩码转化为二值决策。在傅里叶态与 Haar 随机目标态上的测试表明，该方法在保真度与所需相位数量的权衡上达到了具竞争力甚至更优的表现。
arXiv quant-phAI 评分2929 量子视角何时有效？多视角融合中的经典与量子互补表征
一项研究提出经典-量子多视角融合框架，通过拼接与注意力机制结合经典输入和模拟量子特征，证实两者具备互补预测关系时融合能提升预测性能。
arXiv quant-phAI 评分3434 基于 AI 智能体辅助的跨量子处理器实验策略迁移
研究人员提出一种基于 AI 智能体辅助的实验策略，成功在一台 3 量子比特核磁共振处理器上开发并迁移至另外四台设备。AI 智能体负责评估实验证据、选择后续测量并调整流程，结合设备专属校准、控制脉冲优化与测量完成 Grover 态制备任务。测试中重构主特征态的目标态布局数达 0.910 至 0.959，相对理想值 0.945 的偏差低于 3.8%。
arXiv cs.LGAI 评分3737 稀疏自编码器中的表征再分配研究
研究人员提出了再分配敏感度评分（RSS），用于识别稀疏自编码器（SAE）中跨提示词变换持续同向出现的大幅特征响应。在涵盖8个大语言模型的27个预训练SAE评估中，该测试展现出可复现的表征再分配轮廓。在两个冻结的安全读出实验中，结合中位数仅20和19个特征的RSS支持集侵蚀，分别取得了0.935和0.958的复发故障AUROC。
arXiv cs.LGAI 评分3636 兼容性至关重要：在线策略蒸馏中的 token 级教师选择框架
研究者提出了一个在线策略蒸馏（OPD）中的 token 级教师选择框架，通过在 rollout 期间动态路由教师来兼顾推理模式兼容性、教师能力与学生多样性。理论分析证明了不同教师路由方案在不同场景下对优化和多样性的优势。在数学、编程、内核生成和视觉推理等领域的实验表明，该方法在特定任务上的 pass@k 相比原生 OPD 及专家教师提升超过 10 个百分点。
arXiv cs.LGAI 评分3434 大语言模型更新匹配遗忘学习方法 UMU：兼顾抗重新学习与模型可塑性
研究人员提出大语言模型更新匹配遗忘学习方法 UMU，通过在防御模型与未防御参考模型上同步应用模拟重新学习更新，并在模型选择中引入新任务学习指标。在 TOFU 与 FaithUn 基准上针对 Llama 和 Qwen 模型的实验表明，UMU 使有害和良性重新学习平均分别降低 30.4 和 9.9 个点，同时将新任务准确率提升 3.5 个点。
arXiv cs.LGAI 评分3333 基于拉格朗日-欧拉图神经常微分方程的多尺度时空流行病动态学习与预测
研究人员提出 LE-EpiGNODE 框架，利用基于机制引导的神经算子替代通用消息传递，以分别建模拉格朗日感染生成与欧拉人群流动输运。在 14 种受控合成机制、3 个 COVID-19 场景及与 21 个基准模型的对比评估中，该模型在最长预测周期下的 3 个真实数据集中均取得最低 WMAPE，误差相比最佳基准降低了 17.7-40.0%。
arXiv cs.LGAI 评分3535 仅保留最难样本训练的理论优势：数据剪枝可达贝叶斯最优收敛率
新研究提出了加权经验风险最小化（ERM）下数据剪枝的高维学习理论，证明战略性剪枝可将分类测试误差衰减率从传统非指数尾部损失的 sqrt(N/P) 加速至贝叶斯最优的 N/P。该理论在样本量 P 远大于输入维度 N 的场景下表明，仅保留最难的 2N 个训练样本并丢弃其余大部分数据，即可实现上述最优性能。同时，该框架还刻画了剪枝策略与损失函数及标签噪声的相互作用。
arXiv cs.LGAI 评分4646 蛋白质设计系统在预训练与检索阶段的语料库投毒研究
新研究展示了针对蛋白质设计系统预训练与检索语料的纯数据投毒攻击，证实极少量恶意序列即可隐蔽操纵生成结果。在 300 million 参数的 ProtGPT2 与 ProGen2 预训练中，递增投毒仅需 200 个污染样本即可激活后门。针对检索系统的单条恶意记录可在 97% 的自由文本请求中抢占 top-16，并导致 62% 的请求生成篡改序列。
arXiv cs.LGAI 评分3535 通过免训练权重编辑抵抗有害指令
研究提出一种免训练权重编辑方法，仅需在少量提示词对上执行前向传播，即可直接修改模型权重以降低对有害指令的遵从度。在 5 个指令微调模型上的测试显示，该方法在两个蓄意说谎基准上使平均诚实回答率较最强替代方案分别提升 6.2 和 4.6 个百分点；针对性别偏见指令，它将平均偏见回答率从 57.9% 降至 24.3%，结合公平提示词可进一步降至 11.9%。
arXiv cs.LGAI 评分2727 重型柴油车燃油与排放监测中的传感器故障诊断
研究人员提出了利用健康工况关系进行传感器故障诊断与燃油读数校正的方案，以解决重型柴油车燃油消耗及二氧化碳排放估算失真问题。在涵盖 217 个稳态工况点的 31,500 个故障注入组测试中，该方法对 77.3% 的组发出诊断，准确率达 92.1%。在设定的 1 小时场景中，选定燃油校正将燃烧二氧化碳计算的平均绝对误差降低了 83.8%。